面向负责 POC、风控与安全验收的团队:深伪检测的效果很难用一个数字说清——同一份能力,报出来的是召回率高还是准确率高,取决于分母怎么切、待定样本归到哪一类。结论是验收的重心不在读数字,而在设计:样本集搭对、三个指标的分母分开算、待定率单独报出、没有结论的待定样本单独归档。

召回率、准确率、误报率分别在回答什么问题?

一句话结论:三个指标的定义不同,分母各不相同,不能互相替代。

召回率:伪造样本里,有多少被检出

召回率是指伪造样本中被检出为伪造的比例,回答的是「漏放有多少」:分母全部是已知为假的人脸素材,分子是被系统判为伪造的那部分。这个指标低,意味着有伪造素材能穿过核验链路,在刷脸登录、开户、交易确认这类环节直接对应账户被他人冒用的风险。

深伪检测的召回率还要按攻击类型拆开:AIGC 生成人脸、人脸深度伪造、「AI换脸」模板、翻拍怼屏的检出难度不在同一档,一个总召回率会盖住结构性短板。

准确率:全部样本里,有多少判断正确

准确率是指在全部样本中判断正确的比例。它的局限在于掩盖结构:正常样本占绝大多数时,只要稳定地把多数类判对,准确率就不会难看,伪造这一侧的漏放可能完全没有被反映出来。

误报率:正常样本里,有多少被当成伪造

误报率是指正常样本被误判为伪造的比例,回答的是「误拦了多少真实用户」。正常用户被要求重试、补拍甚至直接拒绝,客诉与转化损失都从这里来。

三个指标的分母对照

指标 分子 分母 回答的问题 相关后果
召回率 被判为伪造的伪造样本 全部伪造样本 漏放有多少 伪造通过,账户被冒用
准确率 判断正确的样本 已出结论的样本(不含待定) 整体判对比例 口径较粗,容易掩盖结构性问题
误报率 被判为伪造的正常样本 全部正常样本 误拦有多少 真实用户被卡,客诉与转化受损

三个指标要同批样本、同一口径同时报出,单看任何一个都不足以判断能力是否可用。

把口径写成公式更不容易扯皮:召回率=TP/(TP+FN),误报率=FP/(FP+TN),准确率=(TP+TN)/(TP+TN+FP+FN)。其中 TP 是「伪造样本被判为伪造」、TN 是「正常样本被判为正常」、FP 是「正常样本被判为伪造」、FN 是「伪造样本被判为正常」。准确率只在模型已给出结论、且样本有明确真值的部分上计算;待定样本不参与这三个指标的分子与分母,另行计入待定率。

为什么单看一个指标会骗人?

深伪检测验收:用真实样本与伪造样本对照跑出指标

一句话结论:指标之间会互相交换代价,只报受益的那一侧,等于把代价藏起来。

只报召回率:漏放少了,误拦可能涨了

判定边界放宽,更多边缘样本会被判成伪造,召回率随之上升;代价是正常样本也更容易被误判。两者在多数场景里此消彼长,只报召回率而不报误报率,无法判断这次提升是模型变强还是阈值变松。

只报准确率:样本不均衡时这个数字会失真

验收样本里伪造样本占比很小时,把全部样本判成正常也能拿到很高的准确率。准确率要说明问题,前提是样本配比先摆出来。

分母不同,数字之间也不可比

召回率的分母是伪造样本,误报率的分母是正常样本,准确率的分母是全部样本;分母不同,把其中一个数字单独拿去做横向比较都不成立——比较之前先对齐分母。

验收样本集怎么搭?先把四件事定下来

一句话结论:样本集决定验收结论的上限,样本没搭对,算得再细也没有意义。

先定正负样本配比

伪造样本与正常样本各要多少,应在验收方案里写死并公开;配比确定后,三个指标的分母就固定了,后续复测都能和基线对齐。

覆盖可识别范围内的五类形态

网易智企·易盾人脸深伪检测可识别 AIGC 生成人脸、人脸深度伪造、人脸像素级 PS、「AI换脸」模板以及翻拍/怼屏。样本集应让这五类各有独立分组,而不是混成一批「假素材」,只有分组统计才能看出哪一类是短板。分组之外,还要按 riskTag 的三类风险标签(suspectedDeepfake 疑似深度合成人脸攻击、suspectedTemplateAttack 疑似「AI换脸」模板攻击、suspectedFaceReplay 疑似翻拍人脸攻击)交叉核对,确认标签与样本实际的攻击类型一致。

控住输入素材口径

输入不合规会直接改变结果,验收时要把这组变量固定住:图片格式支持 JPG、JPEG、PNG、GIF、BMP、WEBP、TIFF;推荐 50~100KB,Base64 编码后不超过约 2MB;分辨率建议 640480(高宽),不超过 1920*1080,保持高大于宽,短边推荐 720 像素,压缩率 0.8;画面清晰、曝光正常,脸部不要过黑过亮或带光晕。还有一条容易漏:图片里出现多张人脸时,系统默认只对面积更大的那张做检测,样本有多人合影时要先确认模型看的是不是目标人脸。文中涉及的格式、尺寸与字段取值,以开发文档当前版本为准;接口迭代后,接入前应重新核对一遍。

留出一批没参与过调参的样本

同一批样本既用来调参又用来验收,得出的数字只能说明过拟合。把每类形态的样本拆成两批:一批用于调参和问题定位,另一批封存到验收当天再跑。

待定样本怎么归类?这是验收容易算错的一步

一句话结论:status 为 0 的样本没有给出结论,既不是判对也不是判错,必须单独归为一类。

待定不等于误判

易盾人脸深伪检测的返回字段里,riskResultInfo 给出 0-正常、1-伪造两个值;status 单独表示识别状态,1-识别成功、0-待定。status 为 0 时系统没有给出结论,这类样本塞进误报率的分母会把误报率算高,塞进召回率的分母会把召回率算低,两种情况都让验收结论失真。

样本按三类归档

验收统计表按三类分开:正常、伪造、待定/无法判定。召回率在「伪造」那类里算,误报率在「正常」那类里算,待定样本不计入 TP、TN、FP、FN 中的任何一项,三个指标的分母里都不含待定。待定必须单列一个指标:待定率=待定样本数 ÷ 总送检样本数。不单列的风险是待定率升高会被三个指标悄悄排除,而它在业务上既可能表现为体验问题,也可能表现为安全缺口。业务侧还需要事先定义待定样本的处置路径——重新采集、转人工复核,或按核验失败处理,不要等它出现之后再决定。

原因码决定待定该记到谁头上

待定背后的原因要按 reasonType 拆开看:2-图片格式或大小不正确、3-检测不到人脸、8-视频文件大小不符合预期、9-视频时长、10-视频格式不正确、11-视频截帧失败、12-文件分辨率较低,这几类指向输入与素材口径,可以回到采集端解决;7-系统繁忙属于系统侧原因,应与可用性一起单独统计,不计入检测能力。原因码混在一起,就无法判断待定是素材不行还是能力不行。

除三个指标外,还要验收什么?

一句话结论:指标说明当前这批样本上的表现,泛化性、对抗能力与时延说明它在真实环境里能撑多久;第三方评测与可复现口径,则说明这份结论能不能被外部和下一次对齐。

泛化:换一批没见过的素材

用另一批来源、设备与光线条件都不同的素材复测:召回率与误报率都能保持在接近水平,说明能力不是靠拟合样本集得来的,泛化样本同样按五类形态分组。

对抗演练:主动压一遍绕过手段

黑产可能用数据增强或对抗样本绕过检测,验收环节应主动演练:把素材做压缩、加噪、改色、换角度、拼接处理后重新送检,看检出结果是否稳定,目的是把恶化点找出来形成持续迭代的清单。这类演练不是自选动作:信通院本轮评测就重点强化了 AIGC 人像检测能力的考核,专门针对 Stable Diffusion、GAN、Diffusion 类主流生成模型产出的伪造人像设置了测试样本。

第三方评测:让外部标准校验内部口径

自建样本集能验出模型在你业务上的表现,验不出这项能力在行业里处在什么位置。人脸识别类能力已有现成的第三方评测可参照:中国信通院 2026 年生物特征识别安全评测覆盖人脸采集、质量检测、活体检测、人脸比对、人脸数据传输五个方面共 17 项能力要求,并把安全防护能力划分为基础级、增强级、优秀级、杰出级、卓越级五个层级;易盾「活体检测-3.3.6」在该评测中成为首家获评活体检测安全防护能力「卓越级」的单位。两者回答的问题不同——第三方评测回答「能力落在哪一档」,自建验收回答「阈值该定在哪」;分档是行业坐标,阈值是业务参数。

响应时延与稳定性

深伪检测在刷脸链路里往往是同步环节,时延直接决定用户等待感,验收应记录平均响应时间与长尾分布,并说明测试时的并发与网络条件。某金融客户在完成部署后,换脸召回率从 35% 提升到 95.64%、整体准确率 99.86%、平均响应低于 200ms,这组数字属于单一客户实战口径,不可外推为行业普适结论;关键在于它在验收之前无法凭体感判断,只能靠一套设计好的样本集跑出来。

口径要能复现

验收报告要把样本来源与数量、正负配比、输入口径与统计时点写清楚,否则第二次复测没法和第一次对齐。

指标该定到多少?看业务落在哪一侧

一句话结论:召回率与误报率的相对权重,由业务承担哪一侧的损失决定,不存在通用的合格线。

高安全优先的场景

开户、大额交易确认、企业实人认证这类环节,漏放的代价高于一次重试的代价,验收时应把召回率的门槛定得更严,同时接受误报率略高,并配套人工复核与二次采集兜底。

体验优先的场景

登录、改绑手机号、内容发布前的实人校验这类环节,误拦一个真实用户的成本会直接体现在转化上,验收时应给误报率压出上限,并对召回率的短板按攻击类型分档处理。

阈值是运营参数,不是验收结论

同一套能力在不同业务上可以用不同的判定策略,验收输出的是各阈值下召回率与误报率的对应关系,也就是一条取舍曲线;上线后按业务反馈在这条曲线上选点,而不是把验收时的某个点固定成长期配置。

边界:不存在一次定终身的验收

现有公开技术都无法做到完全准确识别,伪造手法与鉴伪算法在持续对抗。验收的产出应包含一份迭代节奏:多久复测一次、新型攻击样本出现后多久能覆盖、原因码分布偏离基线到什么程度触发排查。

深伪检测常见问题(FAQ)

Q1:验收只看召回率够吗?

A:不够。召回率的分母只有伪造样本,不反映真实用户被误拦的情况。至少要与误报率同批报出,并附上待定样本的占比。

Q2:待定样本算误判吗?

A:不算。status 为 0 表示系统没有给出结论,它既没有判错,也不构成拦截依据。验收时应把待定单独归为一类,不要把它的分母并进召回率或误报率。

Q3:对抗样本要不要放进验收样本集?

A:建议单独设一组演练样本,而不是混进基线样本集。混进去会让基线口径不稳定,单独成组则能持续观察绕过手段的变化趋势。

Q4:一次验收通过就可以长期沿用结论吗?

A:不可以。验收结论只对应当时的样本与攻击手法,建议设定固定的复测节奏,并把原因码分布与误报率作为长期监控项。

准备做 POC 或即将进入验收的团队,可以先按本文的三类归档方式把统计口径定下来,再拿真实素材跑一轮:网易智企·易盾人脸核验 支持 AIGC 生成人脸、人脸深度伪造、人脸像素级 PS、「AI换脸」模板与翻拍/怼屏的识别,按 riskTag 分类输出风险标签,欢迎申请试用或申请测试额度。