QAi 健康检查报告的真实样貌

附录 A —— 完整技术发现包

A.1 F-01 技术细节：权限校验前置于检索之前

该技术性缺陷模式源于信任边界设置错位。助手会先验证会话身份，随后却在应用客户级与品牌级过滤条件之前，就允许对一个大范围索引执行语义检索。在 RAG 系统中，这与“先生成答案、后过滤”有本质区别：一旦未经授权的上下文进入模型提示词，系统就有可能对信息进行改写、总结甚至泄露，即便最终答案看起来措辞笼统。可持续的解决方案在于架构层面：在执行任何向量搜索或关键词兜底检索之前，检索查询本身就必须受到身份、租户、品牌、数据类别与来源批准状态的约束。

建议的验证测试包括：跨客户订单查询、跨品牌政策请求、混合会话令牌重放、未经身份验证的检索尝试、拥有多个家庭账户的客户、客服角色与客户角色的对比，以及账户更新后的过期权限缓存。只要任何一项测试返回了超出授权范围的信息来源，该版本发布就应判定为不通过。

A.2 F-02 技术细节：生产评测关卡

当前的评测集偏向于验证演示场景下的顺利表现。它能够证实助手可以回答常见的产品问题，但无法证明其在模糊情形、政策冲突、信息来源缺失、提示注入、文档过时或操作压力下依然表现安全。生产评测关卡应当包含确定性检验、人工审核的标准答案、检索相关性评分、拒答正确性判定，以及对抗性场景测试。每当提示词、检索配置、模型版本、语料摄取流程或工具结构发生变化时，都应重新运行该关卡。

建议的最低限度关卡：共计 385 个用例。核心关卡以 200 个具有业务代表性的标准用例为基础，并辅以 185 个风险专项用例：50 个政策冲突用例、50 个权限隔离用例、30 个赔偿操作用例、30 个应予拒答用例，以及 25 个提示注入用例。通过标准应包括：答案正确性、依据已批准来源作答、无未授权检索、无未经支持的赔偿建议，以及可接受的单次成功解决成本。

A.3 F-03 技术细节：赔偿操作审批把关

即便助手仅仅是“建议”赔偿，赔偿本身也是一种近似写操作的财务行为。系统应当将对话建议与操作权限区分开来。低金额、政策明确规定的积分可以在注明依据并经人工复核后予以建议；自由裁量类的赔偿应要求审批；高金额或重复性的赔偿应被阻止或转交人工处理。所有赔偿建议都应记录客户 ID、政策依据、所引用信息来源的版本、模型版本、审批人及最终结果。

A.4 F-04 技术细节：语料库责任归属与时效性

Northstar 的知识语料库需要明确的生命周期治理机制。每一份信息来源都应具备责任人、批准状态、生效日期、失效日期、适用司法辖区或品牌范围、敏感度分类，以及摄取状态。草拟文档不应被面向客户的流程检索到。已被取代的文档应保留以供审计，但应从活跃检索范围中移除。当出现时效性问题时，应在助手依据过期政策作答之前触发告警。

A.5 F-05 技术细节：成本可观测性

仅停留在账单层面的 AI 成本，不足以支撑管理决策。Northstar 应按意图、渠道、品牌、客户类型、检索路径、回答结果、转接结果与解决状态，对每一次模型调用进行标记。这样才能按“每次成功解决”而非“每个 Token”来衡量成本。若缺乏这套度量体系，成本优化很可能在不知不觉中降低质量，或将工作重新转嫁给人工客服。

建议新增的运营指标包括：每次已解决对话的模型成本、每个回答的检索成本、重复联络率、避免转接率、缺乏依据的回答比例、赔偿建议发生率、平均上下文规模、缓存命中率，以及按失败类别划分的成本。

本示例旨在展示 DNLA 的 QAi 评估逻辑：先有证据，后下结论；先找根本原因，后提建议；先明确风险资金，后提预算申请；先给出管理层结论，再展开技术细节。这一逻辑遵循 DNLA 面向生产环境的 AI 系统观：真正管用的 AI，是能在真实基础设施中运转的 AI，而不仅仅是在演示中令人惊艳的 AI。

附录 B —— 技术发现汇总表

附录 C —— 源代码引用

附录 D —— 示例日志摘录

说明：以上日志摘录均为虚构且经过匿名化处理，用于展示保密技术附录中会出现的证据类型，并非真实客户记录。

附录 E —— 完整红队测试包

本附录提供了一份示例性的红队测试包，适用于一个投入生产的 RAG 客户服务助手，作为健康检查项目的一部分通过 DNLA 红队实验室执行。这些测试卡旨在检验提示注入、权限隔离、政策矛盾、过时检索、赔偿滥用、转接绕过、工具调用操纵、隐私泄露与拒答行为。红队实验室同样可作为独立于完整健康检查之外的单独服务提供。

附录 F —— 详细红队测试结果

附录 G —— 评测框架

该评测框架用于界定 Northstar 应如何衡量助手是否准确、有据可依、安全、具有成本效益，并且已具备扩大规模的条件。该框架设计为在发布前、语料库变更后、提示词变更后、模型变更后，以及每月的生产环境健康审查期间运行。

评测集构成：DNLA 建议最低限度的生产关卡应包含具有代表性的客户问题、品牌专属政策用例、订单状态用例、赔偿用例、权限隔离用例、应予拒答用例、过时来源用例，以及对抗性提示注入用例。该评测集应进行版本管理，每月审查一次，并在业务调整政策或推出新品牌时及时更新。

附录 H —— 完整基准设计

基准治理：基准测试应进行版本管理，每月审查一次，并作为受管理的资产加以维护。任何模型、提示词、检索、工具结构或语料库的变更，都应识别其影响到哪些基准测试分片，并在发布前重新运行相关用例。

附录 I —— 代表性测试用例

附录 J —— 完整成本分析

成本结论：最可靠的优化机会，并不是简单地换用更便宜的模型，而是减少失败或重复的对话、防止缺乏依据的赔偿，并建立必要的遥测能力，在不损害质量的前提下将简单任务导向成本更低的处理路径。

附录 K —— 风险资金测算方法简介

QAi 的风险资金测算方法将财务解读分为四个类别。实测值是指在账单、日志或运营记录中可以直接观察到的数值。测算值是利用透明公式，从实测数据或双方认可的输入项推导得出。估算值则是在直接数据不完整的情况下，依据合理假设得出。情景化风险敞口描述的是一种可能发生的高影响事件，绝不应以预测形式呈现。

一份负责任的风险资金模型，应当清楚展示假设条件、计算公式、置信水平、时间跨度，以及该数字代表的是持续性的月度资金流失、一次性的补救风险敞口、延迟实现的价值，还是情景化的下行风险。其目的是支持管理决策，而不是营造虚假的精确感。

附录 L —— 可追溯性矩阵

附录 M —— 访谈登记表

附录 N —— 扩展证据清单

附录 O —— 董事会汇报幻灯片

幻灯片 1 —— 管理层决策

幻灯片 2 —— 有效之处

• 该用例真实存在且使用频率很高。
• 编排层具备保留价值。
• 只读流程已展现出实际价值。
• 没有证据支持进行彻底重建。

董事会要点：这并非一个失败的 AI 构想，而是一个管控与运营模式层面的问题。

幻灯片 3 —— 严重风险

• 在某一路径中，检索可能先于客户级权限校验发生。
• 政策敏感类回答缺乏生产环境回归测试关卡。
• 赔偿操作的审批把关并不一致。
• 日志并非始终保留信息来源的追溯记录。

董事会要点：一个严重的管控缺陷，足以抵消原本尚可接受的架构水平。

幻灯片 4 —— 风险资金

已实测的成本流失：每月约 $7,500 至 $14,000。可能发生的运营风险敞口：重复处理与错误赔偿造成了可观的月度资金流失。情景化风险敞口：信息事件的应对成本可能远高于此，但不应将其当作预测结果呈现。

董事会要点：应将该财务模型视为附带置信区间的决策工具，而非精确的损失断言。

幻灯片 5 —— 面向董事会的 30 天请求

批准在管控措施下继续有限度的生产运行。要求就四项管控措施每周提供证据更新：检索前权限校验、生产评测关卡、检索来源追溯，以及赔偿审批把关。在这四项管控措施全部达到验收标准之前，不批准向更多品牌扩展。

董事会要点：保持推进势头，但将规模化设为以可衡量的管控恢复为前提的条件。

附录 P —— 30/60/90 天实施计划

实施治理：该实施计划应由产品、工程、安全、服务运营、法务／隐私与财务组成的每周决策论坛统筹管理。每个里程碑都应有明确的责任人、书面的验收标准，以及相应的证据材料。扩张决策只应基于实测证据做出，而非利益相关方的信心或供应商的口头保证。

附录 Q —— 管理层回应

附录 R —— 五个层次与八个维度的映射关系

附录 S —— 严重程度定义

附录 T —— 置信度定义

附录 U —— 局限性与假设条件

• 这是一份公开的示例性材料，并非针对真实客户所出具的法律、安全、会计或运营方面的正式意见。
• 所有财务数字、流量水平、失败率与成本假设均为示例。
• 本评估不能替代完整的渗透测试、法律审查、隐私影响评估，或企业级全面代码审计。
• 红队测试包具有代表性，但并非详尽无遗。
• 本分析假设该助手部署于一个集成了 CRM、ERP、订单管理与政策语料库的客户服务环境中。
• 置信水平反映的是示例情景内部证据的充分程度，而非对外部真实生产系统的确定性判断。
• 任何真实项目都需要受控的访问权限、保密条款、数据最小化原则、留存政策，以及针对具体客户的证据审查。

附录 V —— 术语表

本附录是 DNLA QAi 健康检查公开示例（第一部分）的配套内容。在真实项目中，DNLA 会针对您自己的系统（而非虚构系统）交付上述所有内容的完整版本。附录 E 中的对抗性测试由 DNLA 红队实验室提供，若完整的健康检查目前还不是合适的服务范围，红队实验室同样可以作为一项聚焦、独立的服务单独提供。