本指南面向负责设计员工知识助手检索流水线的架构师和工程负责人,说明各项设计决策及其默认选择。如需工程交付,请参阅我们的企业知识与RAG服务;如需产品化方案视图,请参阅AI知识助手。知识助手是我们业务运营AI自动化指南中涵盖的AI步骤之一。
本指南内容
- 为何检索决定质量?
- 流水线决策一览
- 数据摄取与分块
- 检索:关键词、向量或混合
- 权限:在模型查看前过滤
- 时效性与删除
- 有据可查的答案与拒绝回答
- 评估RAG系统
- RAG、长上下文、微调或搜索:替代方案与选择标准
- RAG流水线中的AI
- 现有交付记录与缺失记录
- 本指南的局限性
- 常见问题
- 下一步
为何检索决定质量?
检索增强生成(RAG)由Lewis等人于2020年提出,将语言模型与外部索引相结合:系统首先检索与问题相关的段落,再要求模型基于这些段落作答。对于企业知识而言,这一点尤为重要。模型从未在您的合同或流程文件上进行过训练,而这些文件每周都在变化。
其后果容易被忽视:当助手给出错误答案时,问题通常出在模型上游。正确的段落从未被索引、在错误位置被切分、被噪声排在后面,或被过滤掉。更换模型很少能解决这些问题。以下决策才是质量成败的关键所在。
流水线决策一览
| 阶段 | 决策 | 合理默认值 | 何时重新评估 |
|---|---|---|---|
| 数据摄取 | 摄取哪些内容及元数据 | 仅限已审批来源,各附带所有者、访问权限和最后更新日期 | 某来源无所有者或无可靠日期 |
| 分块 | 文档在何处切分 | 按文档自身结构(标题、章节、表格行)切分,并保留标题路径 | 答案需要完整流程或长表格 |
| 检索 | 如何查找候选内容 | 混合关键词与向量搜索,通过倒数排名融合合并结果 | 查询几乎全为代码和名称,或几乎全为意译表达 |
| 重排序 | 哪些候选内容送达模型 | 重排序器对候选内容评分,保留简短多样的集合 | 延迟或成本限制严格 |
| 权限 | 谁可以查看哪些段落 | 在检索查询内按提问者权限过滤 | 来源没有机器可读的访问权限 |
| 生成 | 如何形成答案 | 仅从段落中作答,引用每个声明,在无支撑时拒绝回答 | 用户需要对实时数据进行计算 |
| 评估 | 如何证明质量 | 一组附有预期来源的真实问题,在每次变更时运行 | 问题类型分布发生变化 |
数据摄取与分块
从来源清单而非爬取开始。对每个系统记录所有者、访问模型、更新频率以及它是否包含当前版本的真实数据。重复内容和过时副本是产生自信错误答案的最常见原因,因此在索引任何内容之前先确定哪个来源优先。
分块是对检索影响最大的决策。固定大小的窗口简单,但会将流程和表格切成两半。结构感知分块按标题、列表项或表格行切分,并将标题路径与每个分块一起存储,使得标题为「退款 > 损坏商品 > 欧盟以外」的段落可以被独立找到和引用。对于较长的流程,索引小分块用于匹配,但将父章节提供给模型,使答案能看到完整的步骤列表。在每个分块上保留文档元数据:来源、所有者、访问权限、版本和日期。
检索:关键词、向量或混合
向量搜索能找到用不同措辞表达相同含义的段落。关键词搜索能找到精确匹配:产品代码、合同编号、名称以及嵌入模型会模糊处理的内部术语。企业问题兼而有之,这正是混合检索成为合理默认值的原因。Microsoft针对其搜索服务的文档描述了这种常见模式:并行运行全文和向量查询,并通过倒数排名融合合并两个排名列表。
重排序器随后结合问题逐一阅读每个候选内容并重新排序。它比第一阶段检索慢,因此仅在候选内容上运行;它通常是提升答案质量成本最低的单项改进。保持最终集合简短多样。Liu等人在《Lost in the Middle》中表明,模型对长上下文开头和结尾信息的利用优于中间部分,因此更多上下文不会自动带来更好的结果。
权限:在模型查看前过滤
助手绝不能引用提问者无权打开的文档。在检索中而非在提示词中执行这一点:将访问权限与每个分块一起存储,将提问者的身份和所属群组传入搜索查询,并在生成前删除其无权查看的内容。在生成后过滤,或要求模型隐瞒限制内容,会通过摘要和提示泄露信息。
OWASP在其2025年LLM应用Top 10中将向量和嵌入弱点列为LLM08,包括通过索引的未授权访问、共享向量存储中的跨租户泄露以及被污染的内容。其缓解措施与本设计相符:对向量存储进行细粒度权限感知访问、从可信来源进行验证摄取、按访问级别对内容分类,以及检索的不可变日志。当助手不仅能回答还能执行操作时,我们AI智能体安全指南中的控制措施同样适用。
时效性与删除
企业知识会变化,索引必须跟进。在来源系统提供变更事件时按事件重新索引,否则按计划重新索引。将最后更新日期与每个分块一起存储,并在引用旁显示,以便用户看到某条政策段落已有两年历史。删除与更新同等重要:当文档被撤回或某人的访问权限被吊销时,索引必须在数据策略承诺的时间内反映这一变化,问答记录的保留也需要单独制定规则。
有据可查的答案与拒绝回答
生成步骤是一份契约:从段落中作答,将每个声明引用到段落,当段落不支持某个答案时说「我不知道」,并指向文档所有者。NIST的生成式AI概况将虚构内容——即自信地陈述错误内容——列为生成式AI的核心风险之一;引用和拒绝回答是用户检验这一点的方式。对于人力资源、法律或财务等受监管话题,将答案路由至审核队列而非直接回复。
评估RAG系统
-
收集真实问题。
从工单、聊天记录和访谈中获取,而非从文档中获取,并记录应该回答每个问题的来源。
-
单独评估检索。
对每个问题,检查预期来源是否在检索集合中以及排名如何。大多数失败在这里显现。
-
评估答案。
检查对段落的忠实度、与问题的相关性,以及引用是否指向正确来源。Ragas框架提出了沿这些维度的无参考评估方法;对样本进行人工审核仍然必要。
-
测试拒绝回答和权限。
包含来源中无答案的问题,以及测试用户不应得到答案的问题。
-
在每次变更时运行测试集。
分块、排序、提示词和模型变更都会影响结果;仅在测试集通过时发布。
-
从生产中学习。
未回答和低评分的问题向文档所有者展示缺失内容,并为下一个测试集提供素材。
RAG、长上下文、微调或搜索:替代方案与选择标准
| 方案 | 擅长 | 不足 | 适用场景 |
|---|---|---|---|
| RAG | 大型、动态、有权限管理的文档集,支持引用 | 需要摄取、权限和评估工作 | 答案需来自多个动态变化的来源 |
| 长上下文提示 | 完整阅读少量文档 | 每次查询成本高、对中间部分注意力不足、权限管理困难 | 整个语料库适合放入一个提示词且受众单一 |
| 微调 | 语气、格式和领域词汇 | 最新事实、引用、访问控制 | 风格比当前事实更重要 |
| 企业搜索 | 快速找到文档 | 综合生成答案 | 用户需要文档本身而非摘要 |
四个标准决定选择:知识变化的频率、不同人员是否可查看不同文档、答案是否必须可追溯到来源,以及涉及多少文档。实践中这些方案往往结合使用:RAG处理事实,轻量微调或指令处理格式,搜索作为备选。选择先解决哪个知识问题是企业AI就绪评估的一部分。
RAG流水线中的AI
AI出现在流水线的多个环节,而不仅仅是最终答案:用于向量搜索的嵌入模型、重排序器、可选的查询改写,以及在评估期间对答案评分的模型。每个都是需要版本控制和测试的组件。Netbase与主要商业和开源AI模型合作,按项目选择,并构建流水线使模型可以在无需重新索引所有内容的情况下替换。聊天界面可以从Netbase产品化模块库中的AI聊天机器人和WorkChat集成器开始,数据和模型选择涵盖在我们的数据与AI技术栈中。以下每项均说明其在Netbase的成熟度。
-
已交付(匿名客户):RAG知识助手。
基于企业知识的检索增强助手,已为一位未具名客户交付。
-
成长型能力:用于有据可查答案的NLP与生成式AI。
超出该记录范围的企业知识检索、答案起草和评估;尚未关联已发布案例。
现有交付记录与缺失记录
- 现有记录。Netbase已为未具名客户交付检索增强知识助手、文档AI和MLOps流水线;匿名RAG记录描述了系统类型和Netbase的角色。交付遵循Netbase的安全实践,包括基于角色的访问控制、管理员仪表板的多因素认证、传输中的TLS和静态AES加密、安全代码审查和漏洞扫描。
- 缺失记录。该记录未发布客户名称、语料库规模、准确率、采用率或节省时间的数据,因此此处不提供上述信息。本页面的默认值是设计指导,而非该项目的实测结果。
本指南的局限性
- 这些默认值适用于单一组织内基于文档和记录的内部助手;面向公众的聊天机器人、多租户产品和受监管建议需要额外的控制措施。
- 研究论文和供应商文档引用仅针对方法,而非背书;检索质量取决于您的内容,必须在您的问题上进行测量。
- 索引中的个人数据带来数据保护义务,本指南不能替代相关法律建议;在GDPR或其他隐私法适用的情况下,请寻求法律意见。
常见问题
没有单一标准。按文档自身结构切分,将标题路径与每个分块一起保留,并在评估集上测试不同大小;对于政策文件、合同和工单,正确答案各不相同。
通常不够。企业问题兼具语义和精确术语(如代码和名称),因此混合关键词与向量检索加重排序器是更安全的默认选择。
将访问权限与每个分块一起存储,并在检索查询内按提问者权限过滤,在模型查看任何内容之前完成,然后对不应看到特定答案的用户进行测试。
微调塑造风格和词汇,但不能保持事实的时效性、引用来源或遵守访问权限。对于动态变化的企业知识,RAG是基础,微调是可选的补充。
相关服务与解决方案
AI自动化与智能代理,让人始终掌握决策权
Netbase为运营团队提供AI自动化与智能代理开发服务,让软件处理重复性多步骤工作,同时由人工保留对重要决策的审批权。我们将基于规则的自动化与AI结合,内置人工审批环节,并以基线衡量回报。
Learn More
企业级AI知识助手:带访问控制的RAG工程
Netbase为企业知识库工程化检索增强生成(RAG):涵盖数据摄入、搜索、权限校验、带引用的答案及评估,让语言模型能从企业自有文档和系统中作答。这是一项成长型能力,从首个原型起即内置访问控制与评估机制,Netbase已为一位匿名客户交付了RAG知识助手。
Learn More
AI知识助手:基于企业内部知识的引文回答与权限管控
AI知识助手是一款内部工具,从企业自有文档与系统中回答员工问题,每条回答均附引文来源,且每位用户只能查看其权限范围内的内容。Netbase JSC 将其作为成长型能力提供,自首个试点起即融入检索、评估与人工审核机制,并已为一家匿名客户完成交付。
Learn More
与Netbase远程合作
Netbase JSC的所有项目均以远程方式交付,任何国家、任何行业的客户均可与我们合作;Netbase已服务全球80个国家的客户。合同与发票由Netbase JSC出具,付款方式为银行转账至Netbase JSC公司账户或PayPal Business。欢迎通过WhatsApp或邮件联系CEO Huy Nguyen(David)。
讨论项目
Netbase JSC帮助企业设计、构建、现代化及运营数字产品与AI赋能的业务系统。project@netbasejsc.com
+84 937 869 689
91 Nguyen Chi Thanh, Dong Da, Hanoi, Vietnam
取得联系
告诉我们您想构建、现代化或运营什么。