本框架面向希望了解其组织能否将AI真正应用于实际工作(而非仅停留于演示)的高管、运营负责人和技术负责人。本框架提供信息参考,是一套可由您自行组织团队开展的自我评估工具。如需外部评估及优先级行动计划,请参阅AI战略与就绪度服务。如需选择和管理首批自动化流程,请阅读我们的业务运营AI自动化指南。
什么是就绪度评估,什么不是
就绪度评估回答一个问题:在AI能够在此处安全创造价值之前,哪些条件必须具备,哪些条件尚未满足?它着眼于组织本身,而非模型。它不是供应商选型、模型基准测试或ROI预测。它从六个维度产出一份评分图景、一份差距清单和一系列行动步骤。
在投入资源前开展评估有三个充分理由:
- AI试点项目往往在技术层面取得成功后陷入停滞,原因是数据、归属权或集成从未为生产环境做好准备。
- 监管法规越来越要求组织了解自身使用了哪些AI系统,以及每个系统的风险等级。
- 共识性的全景图可以防止最热情的团队或最有说服力的供应商单方面主导议程。
六个维度
| 维度 | 所回答的问题 | 参考证据 |
|---|---|---|
| 战略与应用场景 | 我们是否明确AI应解决哪些业务问题,以及由谁负责? | 带有负责人、衡量指标和价值逻辑的应用场景优先级列表 |
| 数据 | 上述应用场景所需的数据是否可用、质量是否已知且合法使用? | 数据清单、质量检查、访问权限、保留规则 |
| 技术与集成 | AI输出能否到达实际开展工作的系统? | API、集成层、身份认证、环境、日志 |
| 人员与技能 | 员工是否了解AI的能力边界,谁来构建和运维它? | 角色定义、培训记录、工程与数据技能储备 |
| 治理与风险 | 是否有规则用于审批、监控和下线AI系统? | AI清单、风险分级、审批流程、事件处理 |
| 运营与衡量 | 我们能否在生产环境运行AI并验证其效果? | 监控、人工审核队列、基准指标、成本追踪 |
-
探索
有兴趣和零散实验;无明确负责人,无清单,数据未经测试
-
试点
有一两个有明确负责人的监督式试点;每次试点数据均需手动准备
-
运营
至少有一个AI应用场景已上线生产,具备监控、必要时有人工审核及已测量的基准
-
规模化
具备可复用的接入流程、共享数据和集成服务,以及能在数周而非数季度内审批新应用场景的治理流程
大多数中型组织的评分参差不齐:技术维度达到3级(因为其核心系统较为现代),治理维度停留在1级(因为从未有人被要求承担相关责任)。这种参差不齐的结果是正常的,而发现它正是评估的意义所在。
六步开展评估
-
确定范围。
选择纳入评估的业务部门和流程。一次性开展全企业评估往往会演变成问卷调查;建议从两三个职能部门开始。
-
收集候选应用场景。
询问各职能部门希望AI协助解决哪些问题。记录流程、业务量、出错成本及成果负责人。
-
按维度收集证据。
参照上表的证据栏。采访负责人、审查文档并直接查看系统本身,而非依赖问卷。
-
评分与校准。
按职能部门对每个维度打1至4分,然后与业务和技术负责人在同一会议中复核评分,确保各等级在不同团队间含义一致。
-
分类风险。
针对每个候选应用场景,记录其是否涉及个人数据、受监管决策或直接面向客户,以及可能归入的监管类别。
-
确定顺序。
用下方决策表将评分转化为行动,并选取一两个与当前成熟度相符的应用场景。
决策框架:评分告诉你该做什么
| 评分模式 | 含义 | 下一步行动 |
|---|---|---|
| 战略为1级 | 没有已达成共识的待解决问题 | 在任何构建工作开始前先开展应用场景发现 |
| 首要应用场景的数据为1或2级 | 模型的效果取决于未经测试的数据 | 优先修复该应用场景的数据访问和质量问题 |
| 技术为1或2级 | 输出无法到达实际开展工作的系统 | 构建集成路径;从涉及系统较少的应用场景起步 |
| 治理为1级 | 没有人能够审批或叫停一个AI系统 | 指定负责人,建立AI清单,并在上线前增加审批步骤 |
| 运营为1或2级 | 无法判断一个生产系统是否正常运行 | 在上线前定义基准指标和监控机制 |
| 所有维度均为3级及以上 | 已具备规模化条件 | 构建共享服务(数据、集成、审核队列)并建立应用场景接入流程 |
该表背后的规则很简单:最薄弱的维度制约一切。在薄弱数据上运行强大的模型,或者有一个强大的试点但无人负责,很难走向生产。
需要对标的框架与法规
治理维度无需从零开始。两个公开参考资料有助于构建框架:
- NIST AI风险管理框架。这是一个于2023年1月发布的自愿性框架,分为四个功能:治理、映射、测量和管理。NIST的生成式AI配置文件(NIST AI 600-1,July 2024)针对生成式AI特有风险提供了补充指导。将您的治理和运营维度与这些功能对照,可为评估赋予公认的结构。
- 欧盟AI法案。法规(EU)2024/1689于2024年8月1日生效,自2026年8月2日起普遍适用,部分义务按不同日期分阶段实施。该法案采用基于风险的方法:某些做法被明令禁止,招聘工具等高风险系统须满足严格要求,某些系统须履行透明度义务(例如告知用户正在与AI交互),而大多数系统不承担特定义务。如果您服务于欧盟客户或在欧盟雇用员工,请在步骤5中按上述类别对每个候选应用场景进行分类,并查阅欧盟委员会的最新时间表。
上述参考资料本身不提供任何认证,本页面亦不构成法律建议。
评估方式的权衡
| 选择 | 方案A | 方案B | 决策依据 |
|---|---|---|---|
| 广度 | 一次性覆盖全企业 | 先覆盖两三个职能部门 | 除非监管机构或董事会要求全面清单,否则从窄范围开始 |
| 方法 | 自我评估 | 外部评估 | 自我评估成本较低;当团队存在分歧或缺乏AI经验时,外部视角更有价值 |
| 深度 | 问卷调查 | 证据审查与访谈 | 问卷往往高估成熟度;应要求提供每个等级背后的证据 |
| 时机 | 试点开始前 | 首个试点结束后 | 在前更为清晰;在后可获得关于数据和集成的真实证据 |
| 产出 | 评分报告 | 评分加排序行动计划 | 没有计划的评分报告很少能推动预算变化 |
就绪度检查清单
- 一份应用场景优先级列表,每项均有负责人和衡量指标。
- 针对首要应用场景的数据清单,已核查质量和访问权限。
- 从AI输出到实际工作系统的集成路径。
- 明确的AI系统构建、审核和运维角色。
- AI清单,每个系统均有风险分级。
- 上线前的审批步骤,以及经过测试的系统关闭方式。
- 针对高影响力输出的人工审核机制,且审核能力已做规划。
- 上线前已建立基准指标。
- AI数据的安全控制:访问控制、加密和日志。
- 评估本身设有复审日期。
示例:已交付AI步骤的位置
六个维度在实际交付工作中清晰呈现。Netbase为在线印刷企业4over4在现有订单流程中构建了推荐引擎,输入数据已经存在,集成点清晰,业务方对结果进行了追踪;同一项目还实现了文件转换自动化。据案例研究报告,设计文件生产时间缩短40%,履约时间缩短50%,营收在实施后六个月内增长82%。上述数据涵盖整个项目,而非仅指推荐引擎。阅读4over4案例。
对评估的启示:AI步骤是最后加入的,彼时数据、集成和衡量均已达到可用水平。若上述条件尚不具备,将AI步骤嵌入基于规则的流程往往是合适的第一个项目;我们的AI智能体与工作流自动化对比说明了各方案的适用场景,智能体AI自动化用于构建首个流程,而中型企业AI治理则设定了审批规则。对于商务团队,商务运营自动化涵盖此类步骤通常所在的订单、文件和履约流程,零售与电商则展示了更广泛的行业背景。
Netbase 如何应对AI就绪度
Netbase 的业务覆盖机器学习、自然语言处理、计算机视觉、生成式AI及AI与物联网结合。这些是按需提供的能力领域。已命名的AI工作为4over4的推荐引擎,Netbase 还为未具名客户交付过AI项目,以匿名记录保存。交付工作以英语从河内远程优先进行,安全设计贯穿始终:安全代码审查、传输中TLS加密和静态AES加密、基于角色的访问控制、管理员后台MFA、漏洞扫描和灾难恢复规划,并可按需提供NDA和DPA。上述做法描述的是Netbase的工作方式,并不意味着客户的AI系统符合合规要求。
-
已交付:商品推荐引擎。
基于4over4的浏览和购买历史构建。
-
已交付(匿名客户):RAG知识助手。
为未具名客户交付;此类应用场景对数据维度的要求是:拥有明确访问权限的、最新的自有数据源。
-
已交付(匿名客户):文档AI平台。
为未具名客户交付;此类应用场景需要已标注的样本文档和审核路径。
-
已交付(匿名客户):MLOps流水线。
为未具名客户交付;这是运营与衡量维度的实践体现:评估、发布门控和监控。
-
成长能力:机器学习、NLP、计算机视觉、生成式AI及AI与物联网结合。
Netbase 提供的AI能力领域;超出上述已交付项目的范围,尚未关联已发布案例。
本框架的局限性
- 本框架是基于交付经验总结的实用框架,并非原创研究,亦未经过统计验证。
- 成熟度等级是定性的。两位评估者可能对同一证据给出不同评分;步骤4中的校准可减少这种差异,但无法完全消除。
- 监管摘要为一般性概述,已按访问日期进行核查。法规及其时间表会发生变化;请以官方来源为准。
- 本框架不提供ROI数据。价值取决于应用场景、基准和采用情况,应在您自己的试点中进行衡量。
- AI能力和成本变化迅速,因此本页面每季度更新一次。
常见问题
评估需要多长时间?这取决于评估范围以及现有证据的充分程度。覆盖两三个职能部门的评估远快于全企业评估。
应该在试点前还是试点后评估?如果可以,在试点前进行。如果试点已在进行中,现在评估仍有意义:它能提供关于数据和集成的真实证据。
评估结果应由谁负责?由业务高管牵头,技术、数据和风险负责人共同参与。仅由IT部门主导的评估往往会过度侧重技术。
欧盟AI法案对我们适用吗?如果您在欧盟市场部署AI系统或在欧盟境内使用,则可能适用。请对您的应用场景进行分类并寻求法律建议。
下一步
请将您的候选应用场景及其所涉及的系统发送给我们,我们将预约方案评审,与您共同对六个维度进行评分并确定首要差距。您也可以查看相关服务或浏览更多Netbase 洞察。
相关服务与解决方案
AI战略与准备度:从创意清单到治理路线图
Netbase为需要决策AI投入方向的管理团队提供AI战略咨询。我们从四个维度(用例、数据、风险、价值)评估准备度,对候选项排序,交付附带首批试点、责任人和度量指标的治理型AI路线图。AI战略是我们正在发展的能力,尚无大量历史项目记录。
Learn More
AI辅助电商运营自动化:从付款订单到包裹送达
电商运营自动化消除店铺后台的手动订单、生产与履约步骤:路由、文件处理、状态更新及后台同步,并由AI标记风险订单、分流异常。适合订单量已超出人工处理能力的商家和在线印刷商。在已交付项目中,4over4将设计文件生产时间缩短40%,Geo-Tek将订单处理时间缩短30%。
Learn More
讨论项目
Netbase JSC帮助企业设计、构建、现代化及运营数字产品与AI驱动的业务系统。project@netbasejsc.com
+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
取得联系
告诉我们您想构建、现代化或运营的内容。