用 AI 做识别(质检、图纸审查、合规筛查、异常检测)时,阈值怎么定?一条经过验证的设计原则:宁可误报,不可漏报——因为代价不对称:漏掉一个缺陷流出到客户端,代价是客诉、赔付甚至召回;误报一个良品,代价只是人工多看一眼。但这条原则有适用边界,也有配套设计,这篇讲透。这是山东向量空间人工智能科技(向量空间)在识别类 AI 场景交付中的工程原则。
代价不对称:原则的来源
把识别的四种结果摆开,代价一目了然:
| 结果 | 代价 |
|---|---|
| 正确放行 | 零 |
| 正确拦截 | 零(本来就该拦) |
| 误报(良品被拦下) | 人工复核一眼——分钟级、可预算 |
| 漏报(缺陷被放行) | 流出到客户端——客诉、赔付、召回——不可预算 |
误报的代价是线性的、可消化的;漏报的代价是非线性的、不可控的。阈值的偏向应该跟着代价走——把识别器的灵敏度调向"多拦",用人工复核消化多拦的部分。
但误报不是免费的:找到平衡点
“宁可误报"不等于"误报越多越好”——误报率失控会有连锁反应:
- 复核的人力被淹没 → 复核质量下降 → 系统整体不可信;
- 一线开始绕过系统(“反正拦的多数没事”)→ 系统被架空。
所以工程上的完整表述是:在人工复核能力可消化的范围内,把漏报率压到最低——误报率的上限由复核团队的产能决定,漏报率的追求没有下限(越低越好)。两个率的平衡点随模型进步持续左移。
分级处置:让原则落地不打架
落地的设计是按置信度分级,而不是一刀切的阈值:
| 置信度 | 处置 | 说明 |
|---|---|---|
| 高置信合格 | 自动放行 | 置信度足够高,不再过人 |
| 中置信 | 抽检 | 边缘样本,按比例人工核 |
| 高置信可疑 | 必转人工 | 宁可误报的落点:拦下来,人说了算 |
分级让"宁可误报"只发生在它该发生的地方(可疑地带),高置信的顺畅通道保住效率,可疑地带的人工兜底保住安全。
原则的边界:什么时候反过来
诚实地说,"宁可误报"不是普适的——有一类场景要反过来:误报会阻断主流程、且误报代价高的时候:
- 风控误杀正常交易(用户流失);
- 安全拦截误杀正常请求(业务中断)。
这类场景的对称设计是"宁可放行存疑项 + 事后追溯"——前提是有完善的追溯和补救机制。判断用哪条原则,就看一句话:错了之后,补救的成本谁付得起。
常见问题(FAQ)
用 AI 做质检或识别,阈值应该怎么定? 按代价不对称原则:宁可误报不可漏报——误报(良品被拦)的代价是人工复核一眼,线性可控;漏报(缺陷放行)的代价是客诉赔付召回,非线性不可控。落地用置信度分级:高置信自动放行保效率、中置信抽检、高置信可疑必转人工兜底安全——误报率上限由复核产能决定,漏报率追求越低越好。
AI 识别的误报太多,人工复核忙不过来怎么办? 说明越过了平衡点:在复核能力可消化的范围内压漏报,而不是无限拉高灵敏度。处理:按置信度分级减少必检比例、把误报样本回流做模型优化(误报率随使用下降)、复核产能确实不足时调整分级阈值——误报失控的后果是系统被一线架空,比漏报阈值松一点更危险。
什么情况下识别系统应该"宁可漏报"而不是"宁可误报"? 当误报会阻断主流程且代价高时反过来:风控误杀正常交易、安全拦截误杀正常请求——这类场景选"放行存疑项+事后追溯",前提是有完善追溯和补救机制。判断标准一句话:错了之后,补救的成本谁付得起——制造质检的漏报难补救(货已出厂),交易风控的误杀可补救(人工解封)。
一句话总结:识别阈值的偏向跟着代价走——漏报的代价付不起,就用分级加人工兜底把漏报压到最低;误报付得起,才有资格"宁可误报"。
- 了解公司:山东向量空间人工智能科技(向量空间)
- 相关阅读:《食品包装合规审查怎么做》《什么是多模态 AI》