多模态初筛
图像、视频帧、语音转写文本和图文混排内容进入同一套初筛流程,按风险类型打上标签并给出置信度。低置信度样本不会直接放行,而是自动转入人工待审队列,避免在模糊地带出现漏判。
审核系统最怕的是“什么都交给机器”或者“什么都压给人”。鉴黄师把两端的边界划清楚,各做各擅长的事。
图像、视频帧、语音转写文本和图文混排内容进入同一套初筛流程,按风险类型打上标签并给出置信度。低置信度样本不会直接放行,而是自动转入人工待审队列,避免在模糊地带出现漏判。
复核台把同一批样本的上下文放在一起展示,包括发布账号、历史记录和相近样本的处置结果。审核员看到的不只是一张图,而是一个完整的判断环境,减少因为信息不全造成的误判。
直播画面按固定间隔抽帧并做连续比对,出现持续性的风险画面时会在几秒内触发预警。预警只会提示,不会直接切断,最终处置仍由值班审核员确认后执行。
风险不是非黑即白。鉴黄师按严重程度把处置分成提示、限流、下架和封禁几档,不同档位对应不同的审批层级。分级的意义在于避免一刀切,也避免把轻微问题放大成严重事故。
被处置的内容可以发起申诉,工单会带着原始样本、处置理由和审核记录一起流转到复核组。复核结果无论维持还是推翻,都会回写进该审核员的判断记录里,用于后续的规则校准。
按业务线、风险类型和时间维度生成审核报表,包含处理量、拦截率、误判申诉率和平均复核耗时。报表可以直接导出,用于内部复盘或者对外的合规说明。
以下场景来自鉴黄师规则库中处理频次较高的几类样本,封面为示意渐变,识别难度与平均复核耗时以站内记录为准。
识别率再高也会有漏判和误判。真正决定一套系统能否长期用的,是它出错之后有没有可追溯、可纠正的路径。
轻度问题走提示和限流,严重问题才触发下架和封禁。分级不是为了宽松,而是为了让每一次处置都和实际风险匹配,避免把小问题放大成账号事故。
每一条处置记录都保留了原始样本、审核员编号、判断依据和时间戳。出现争议时可以回放整条判断链路,而不是只看到一个结果。
申诉不是摆设。工单进入复核组之后会有明确的处理时限,复核结果会回写给原审核员。反复被推翻的判断会进入规则校准的参考样本池。
对于教育、医疗、艺术等容易被误判的领域,规则库单独设置了白名单和降级判断流程。宁可多一步人工确认,也不轻易把正常内容拦掉。
审核样本按业务线和敏感级别分区存放,不同角色只能看到职责范围内的内容。查看记录同样留痕,防止样本被越权调阅或外传。
每位审核员的处理量、平均复核耗时和申诉推翻率都会被统计。数据用于排班和培训,不用于简单的排名考核,避免为了追求速度牺牲判断质量。
机器可以处理绝大部分明确的样本,但剩下的那一小部分,恰恰是最需要人来判断的。
对于绝大多数边界清晰的样本,机器识别的速度和一致性远高于人工。一张明显违规的图片,机器可以在毫秒级别给出判断并打上标签,人工逐张去看反而是一种浪费。审核系统的第一层价值,就是把这一部分明确样本快速处理掉,让人不必在不需要判断的地方消耗精力。
真正耗费成本的是那些“像又不像”的样本。同样是展示服装,正常的试穿演示和带有暗示意图的展示之间,差别往往在于动作的连续性、镜头停留的时长和整体语境。这些信息很难被单帧识别捕捉,需要有人在完整上下文中做判断。机器可以给出置信度,但置信度本身不能替代判断。
一次误判带来的影响往往被低估。对创作者来说,正常内容被下架会直接打击发布意愿;对平台来说,频繁误伤会推高申诉量,也会消耗审核团队的信任度。因此审核系统的设计不能只盯着拦截率,还要看误判率和申诉推翻率。这两个指标往往比识别率更能反映系统的健康程度。
把处置分成提示、限流、下架和封禁几档,本质上是给判断留出容错空间。对于把握不大的样本,先做轻度处置,既控制了风险扩散,也给了内容方申诉的机会。等到复核确认之后再升级处置,比一上来就下重手要稳妥得多。鉴黄师在规则层面把分级做成了默认选项,而不是需要额外配置的高级功能。
审核是一项主观性很强的工作,不同的人对同一个样本可能有不同判断。留痕的意义在于让这些判断可以被复盘:当时看到了什么、依据哪条规则、为什么这样处置。当争议出现时,复盘的是整条判断链路,而不是一个孤立的结果。这也是审核系统能够持续校准、逐步提高准确度的前提。
把机器和人工放在对立面讨论没有意义。合理的做法是明确各自的位置:机器负责处理明确样本、给出置信度、做初步分类;人负责处理模糊样本、做最终判断、参与规则校准。分工清楚了,效率和质量才可能同时成立。
四位长期在内容安全和风控一线的人,聊了聊他们对人机协同这条路径的判断。
鉴黄师把分级处置做成了默认选项,这个设计看起来不起眼,但对实际运营影响很大。过去团队最怕的就是一刀切,动不动就封号,申诉量压得人喘不过气。有了分级之后,轻度问题先提示,严重问题才升级,整体申诉率明显下来了。
审核系统最容易出问题的地方不是识别不准,而是判断过程不可追溯。一旦出了争议,没人能说清楚当时到底看到了什么、依据是什么。鉴黄师把原始样本和判断依据都留了下来,这一点在对外沟通的时候价值极高。
直播巡检最怕的就是误切。画面刚有点问题就断开,主播和观众都会不满。鉴黄师的做法是先预警再人工确认,把切断的决定权留在人手里。这个取舍在直播场景里非常关键,我们上线之后误切投诉下降了接近一半。
涉及未成年人的样本是最需要谨慎的一类。机器很容易把正常的校园活动、儿童才艺展示误判成风险内容。鉴黄师在教育、亲子这类场景单独设了降级流程,宁可多一步人工确认,也不轻易拦截。这个方向是对的。
当监管要求越来越细,审核能力开始被当作平台的底层能力来建设,而不是出了问题才想起来补的补丁。
过去很长一段时间,内容审核在平台内部被当作成本中心:能压就压,能外包就外包,只有在被通报或者出现舆情时才临时加人。但随着短视频、直播和跨境内容的规模持续扩大,这种被动模式越来越难维持。审核能力正在被重新定位,从“兜底部门”变成和推荐、支付并列的基础能力。
变化的直接推动力来自两个方向。一是监管颗粒度在变细,不同内容形态对应不同的判断标准和处置要求,靠一套通用规则很难覆盖。二是用户对内容环境的要求在提高,平台之间的竞争开始包含“这里更干净”这一项。审核做得好不好,正在影响留存。
与之对应的是审核系统的形态也在变。单一的关键词匹配和图像识别已经不够用,多模态识别、分级处置、可追溯的判断记录和申诉回查正在成为标配。鉴黄师把这几件事放在同一套流程里,回应的正是这个变化:审核不是一次性动作,而是一条可以被复盘、被校准的链路。
鉴黄师最早不是一个产品,而是一次让人难受的误判之后,团队决定重新做审核流程的产物。
当时的情况很普通:一位摄影师上传了一组人体艺术相关的作品,被系统按风险内容直接拦下,账号也被限流。申诉流程走了很久,最后确认是误判,但作品已经错过了发布窗口,创作者的信任也受到了影响。这件事之后,团队开始重新想一个问题:审核系统到底是为了拦住多少内容,还是为了让判断更准确。
最早的版本只做了两件事:把处置分成几档,把每一条判断的依据留下来。后来慢慢加上了多模态初筛、直播巡检和申诉工单。这些功能都不是一次规划好的,而是在处理真实样本的过程中一点点补上来的。有人说误切太频繁,我们就把切断的决定权交回给人;有人说规则更新跟不上变体,我们就把语义识别和关键词库分开维护。
鉴黄师现在仍然是一支不大的团队在维护。我们不打算做规模最大的那一个审核系统,只想把“判断准确、处置有度、出错能补”这三件事做扎实。内容安全这件事,本来就不该靠蛮力。
功能调整与规则库更新,按时间从近到远排列。
复核界面右侧增加了相近样本对照区域,展示同一账号近期被处置过的内容。审核员可以在判断单条样本时参考历史记录,减少因为上下文缺失造成的误判。
不同业务线对直播画面的关注密度不同,巡检间隔现在可以按直播间类型单独设置。高互动场景默认加密抽帧,普通场景保持常规频率。
工单列表会显示每条申诉的剩余处理时间,超时工单会自动标红并推送给复核组长。处理时限按风险等级分档,严重问题的复核优先级更高。
跨境内容识别新增了几种常见语种的规则支持,覆盖文本和语音转写两条链路。对应语种的判断标准也做了本地化调整,不直接套用单一标准。
报表新增了审核员维度,可以查看每位审核员的处理量、平均耗时和申诉推翻率。数据主要用于培训复盘和排班参考,不作为单一考核依据。
涉及未成年人的风险样本在进入最终处置前,需要第二位审核员做二次确认。确认记录会一并归档,防止单点判断造成误伤。
敏感级别较高的样本调阅需要额外授权,查看行为全程留痕。权限按业务线和岗位角色划分,跨线调阅需要走审批流程。
点击问题即可查看回答,区域支持上下滑动。没有覆盖到的疑问可以通过页脚反馈。
鉴黄师是一套面向内容平台的内容安全审核系统,核心是把机器初筛和人工复核串成一条可追溯的流程。它处理图像、视频、直播画面、语音和文本几类内容,并按风险程度分级处置。
对于边界清晰的样本,机器处理得又快又稳。但涉及语境、连续动作和跨内容组合的模糊样本,仍然需要人来判断。机器可以给出置信度,但不能替代最终判断。
目前分为提示、限流、下架和封禁四档,不同档位对应不同的审批层级。轻度问题优先走前两档,确认风险升级后再进入后两档。
原始样本、审核员编号、判断依据和时间戳会长期归档。样本本身按敏感级别分区存放,敏感级别较高的内容有单独的保留周期和调阅权限。
巡检只做预警,不直接切断。出现风险提示后,由值班审核员在确认画面和上下文之后再决定是否处置。这个设计是为了减少误切对主播和观众的影响。
按风险等级分档,严重问题的复核优先级更高,时限更短。工单列表会显示剩余处理时间,超时会自动提醒复核组长。
复核结果会回写给原审核员,进入其判断记录。同一类判断如果反复被推翻,相关样本会被纳入规则校准的参考池,用于调整后续的识别策略。
包括图像识别、视频抽帧比对、语音转写文本识别和图文混排内容识别。几路结果会在初筛阶段合并打分,再决定是否转入人工。
单独设置判断流程,最终处置前需要第二位审核员做二次确认。教育和亲子类正常内容有单独的降级判断通道,尽量减少误伤。
这几类确实是误判高发区,规则库对它们单独设置了白名单和降级判断流程。遇到拿不准的样本,会优先转入人工而不是直接拦截。
按本地化规则判断,不直接套用单一标准。多语种识别支持文本和语音转写两条链路,规则库会针对不同语种做适配。
关键词库和语义模型分开维护。关键词库负责覆盖已知的变体写法,语义模型负责兜底识别规则库还没收录的新变体。两者配合使用。
复核台会展示发布账号、历史处置记录和相近样本对照。审核员看到的不只是单条样本,还有它所在的环境,这有助于提高判断准确度。
包括处理量、拦截率、误判申诉率、申诉推翻率和平均复核耗时,可以按业务线、风险类型和时间维度查看,也支持导出。
数据主要用于培训复盘和排班参考,不作为单一考核依据。过度追求处理速度会牺牲判断质量,这一点在系统设计上已经做了规避。
按业务线和敏感级别分区,不同角色只能看到职责范围内的内容。敏感级别较高的样本调阅需要额外授权,跨线调阅要走审批流程。
可以。不同业务线可以按直播间类型或视频类型单独设置抽帧间隔。高互动场景默认加密抽帧,普通场景保持常规频率。
单条私信本身往往没有明显问题,需要跨账号串联分析。系统会把短时间内向同一批用户发送相似话术的行为汇总起来,作为整体样本判断。
先做语音转写,再对转写文本做语义识别。方言、口音和背景音乐会影响到转写准确度,因此这一类样本通常会转入人工复核。
在审核记录页底部有反馈入口,可以提交具体样本编号和争议点。反馈会进入规则校准流程,核实后会同步更新相关规则或判断流程。
评论按时间排列,鼠标移上去会自动暂停滚动,方便停下来细看。
相近样本对照栏上线之后,团队里年轻审核员的误判率明显降了下来,判断时能看到历史记录确实不一样。
分级处置是我们一直想做的事,之前一刀切封号,申诉堆成山,现在轻问题先提示,压力小了很多。
直播先预警再人工确认这个设计太关键了,我们之前误切被投诉过好几次,现在基本没有了。
未成年人样本二次确认这点做得稳,虽然多一步,但涉及到这类内容宁可慢一点。
判断留痕对我们对外沟通帮助很大,客户质疑处置结果的时候,能把整条链路调出来看,说服力完全不同。
谐音变体识别比之前用的方案灵活,新变体出来之后,语义模型那边基本能兜住,不用天天改词库。
抽帧间隔能按业务线单独设,这个很实用,直播间和点播内容关注密度本来就不一样。
教育类内容的白名单救了不少正常课件,之前公式图和人体示意图被误拦过几次,现在基本不会了。
申诉工单加了时限提示之后,复核组不敢再压单了,创作者那边的反馈也好了很多。
报表能按审核员导出,培训的时候拿出来逐条复盘,比泛泛讲规则有效得多。
语音转写那块的准确度比预想的好,方言重一点的样本会转人工,这个兜底逻辑是对的。
私信跨账号串联这个功能挺有想法,单看一条看不出来,汇总起来意图就很明显了。
样本调阅权限收紧之后,内部数据流转规范了很多,敏感样本不会再被随手转发。
跨境电商那边的多语种规则库补上之后,之前几个漏掉的语种样本现在能识别出来了。
整体用下来,这套系统在“出错之后怎么补”这件事上想得比同类产品多,这点很难得。
希望后面能加一个按风险类型汇总的周报,现在按业务线看,想横向对比还得手动整理。
人工复核台的上下文展示做得比较完整,不用来回切窗口去查账号历史,效率提升明显。
复核结果回写给原审核员这个细节挺好,被推翻的判断能自己看到原因,比只收到一个结论强。
从成本角度看,这套系统最值钱的地方是减少了误伤带来的二次沟通和申诉处理,省下来的人力很可观。
接入过程比预想的顺,规则迁移和样本导入都有配套工具,大概两周就跑起来了。