产品 / 影响评估
DNLA 影响评估
开发中一份在系统部署前、或在生产系统发生重大变更后编制的结构化 AI 影响评估。它对用于人力资源、信贷、保险、公共服务、医疗、教育等决策场景的系统尤为重要,因为在这些场景中,AI 系统的输出会影响真实个人。
为何事关紧要
监管正在追赶这些系统早已具备的能力
越来越多的 AI 部署如今落入监管机构明确定义的高风险类别:影响真实个人就业、信贷、保险、福利、医疗或教育结果的系统。《欧盟人工智能法案》以及一波国家级与行业级规则正趋向同一项要求:组织必须能以书面形式证明,自己在系统上线前就已理解该系统会影响谁、以何种方式影响。影响评估正是用来证明这一点的方式,而不是事后才做出的断言。
评估内容
十个关于系统影响对象的问题
- 系统影响哪些人
- 系统实际做出哪些决策
- 错误可能造成多严重的后果
- 是否存在申诉决策的途径
- 人工在其中扮演什么角色
- 是否存在歧视的可能性
- 收集了哪些数据
- 系统实际的透明度如何
- 系统一旦失效会发生什么
- 是否存在人工兜底方案
标准对接
对接权威框架构建,而非泛泛的伦理审查
ISO/IEC 42005 已经为评估 AI 系统对人与社会的影响定义了一套框架,这意味着本产品的设计目标是最终对接一项公认标准,而不是停留在非正式意见的层面。DNLA 目前尚未获得该标准的认可资质,这也是影响评估目前仍在开发中的原因。如果您希望在其上线时收到通知,请与我们联系。
最适用于
- 人力资源:候选人与员工的筛选、评分或排名
- 信贷与保险:定价、承保与资格审核决策
- 公共服务:资格认定、福利发放与执法决策
- 医疗:分诊、诊断辅助与护理建议
- 教育:招生录取、评分辅助与考试监考
- 任何输出结果会改变特定个人处境的系统
正在构建会影响真实人群决策的系统?
登记您的意向,影响评估上线后我们会及时与您联系。