识别率99%的AI风控,为什么不敢自己封一个号?

聊AI风控之前,先说一个行业里的真实张力:风控是AI最”适合”落地的场景——数据密集、模式可学习、决策频次高、错了可以持续迭代。行业里AI风控的宣传口径也普遍最好看:识别率99%、响应毫秒级、黑产无所遁形。

但灵工平台的风控有个特殊之处:它拦下的每一个”坏人”,都对应着一个靠接单吃饭的劳动者;它误伤的每一个”好人”,都可能是一次生计中断。 而10月8日公开的征求意见稿第二十九条,正好把这条线画在了最敏感的地方:停止派单、封禁账号、数额较大赔偿等重大利益决定,不得由算法自动作出,应当由人工审核。

这篇聊一个具体的工程问题:AI风控信号进来之后,决策权限怎么分层,刹车装在哪儿。

一、AI风控在灵工平台的三个战场

先对齐一下场景。灵工平台的风控大致打在三处:

准入战场。 注册环节的虚假身份、批量养号、卡商接码——在账号创建时把风险拦在门外。这里的特点是”拒了就拒了”,误伤成本相对较低(正常用户换个时间重试即可),AI做主的程度可以最高。

过程战场。 交易进行中的刷单、套现、伪造服务痕迹——需要实时识别和处置。这里的特点是时效要求高,但处置动作可以分级:从”限制提现”到”暂停派单”到”冻结账号”,动作越重,越需要人。

事后战场。 交易完成后的稽查:虚开嫌疑、资金回流、团伙网络识别。这里的特点是”算总账”,允许慢工出细活——今天识别出来的团伙,可以花几天核实后统一处置。之前我们聊过算法协商和规则公示,事后稽查的处置同样要过公示规则这一关。

三个战场的共同点是:AI都该深度参与。区别在:战场越往后,处置动作对劳动者的利益影响越重,决策权限越要往人收。

二、模型的”准”,有三个天花板

很多团队的想法是:等模型足够准了,自动处置就没问题了。这个逻辑有三个绕不过去的坎:

数据天花板。 黑产样本永远比正常样本少,且黑产迭代速度不低于模型迭代速度。模型在测试集上的99%,遇到新型攻击模式会系统性失效——而这个失效时刻恰恰是自动处置风险最大的时刻。

对抗天花板。 风控对抗的本质是”模型 vs 模型”:黑产团伙同样在用小模型批量测试平台规则、寻找阈值漏洞(比如把单笔金额压在触发线以下)。纯靠模型守阈值,等于把规则公开给对手打靶。人工的”不按常理出牌”——综合场景、常识、非结构化信号做判断——反而是对抗体系里难被建模的一部分。

责任天花板。 这是最硬的一条:哪怕模型准确率真的做到了物理极限,封禁一个账号、停掉一个人的派单,这个决定的社会后果和法律后果由谁承担? 模型不能出庭、不能道歉、不能赔偿。征求意见稿第二十九条”应当由人工对相关事实和依据进行审核”,说的就是这个责任问题——不是质疑模型的能力,是明确责任的主体。

三、决策权限的三层设计:建议、限制、禁止

把上面两个维度(AI参与度、动作影响)放在一起,我们给风控决策分了三层权限:

第一层,建议权。 AI的风险分、证据链、相似案例,供业务方参考;AI的过滤和排序,决定”哪些单值得人先看”。这一层AI自由度最大,因为最终决定权完全在人——参考不参考、先看谁后看谁,人可以无视AI的建议。之前聊过的匹配排序也是同样性质:算法给顺序,人选人。

第二层,限制权。 对命中明确红线规则的账号,AI可以自动执行”限制性动作”:限制单日提现额度、暂缓新订单派单、要求补充认证。关键词是”限制”不是”剥夺”——劳动者的核心利益(已得报酬、已接订单)不受影响,只是扩张性行为被暂时按住。同时每一个限制动作必须附带倒计时:24小时或48小时内无人工复核,限制自动解除。这是从”紧急制动+事后复核”延伸的设计:紧急状态下算法可以先动手,但动手必须自带闹钟,人必须在闹钟响之前做出决定,否则动作自动失效。

第三层,禁止权。 封禁账号、停止派单超过一个计酬周期、大额赔偿——这类”重大利益决定”写入系统权限表为AI不可执行。模型输出只能生成一条”待审核工单”:事实包、证据链、风险评分、建议处置,全部备齐,推送人工审核队列。人审的结果可以是维持、减轻、驳回,但无论结果如何,决定记录里要同时留下AI的建议和人的裁量——这就是”算法可解释性”在工程上的落地形态。

三层设计的本质是把”AI的置信度”翻译成”系统的权限”:置信度决定AI能走到第几层,动作的影响决定这一层是否需要人。置信度再高,也换不来第三层的钥匙——这不是对AI的不信任,是对责任结构的尊重。‘’

四、刹车系统的另一半:被误伤的人怎么进来

权限设计只解决了一半问题:AI风控拦人,人审放行,这是”出口”。另一半是”入口”——被误伤的劳动者怎么进来。征求意见稿第三十八条的申诉机制在这里闭环:封禁决定必须可申诉,申诉必须48小时人工答复,异议成立必须纠正。

风控视角补一句:每一次”申诉成立、决定纠正”,都是模型最珍贵的标注样本。 纠正案例自动回流训练集——这比花钱请标注团队模拟攻击样本有效得多,因为它是真实世界里模型犯过的错。风控系统和申诉系统之间的这条”错题回流管道”,是AI风控体系里最值得投资的工程之一。

五、结语:风控的信任,是”可解释”挣来的

回到开头的问题:AI风控信号进来之后,刹车装在哪儿?答案是三处——动作影响重的地方(禁止权)、紧急动作的时间盒上(限制权的倒计时)、以及整个体系的留痕里(建议与裁量并存的决定记录)。

刹车多了,风控会不会变慢变钝?我们的经验相反:明确的权限分层让模型敢在建议层放开了输出,因为不用担心一个高分值自动触发重动作;人工审核队列也因为事实包齐备而处理得更快。 准度和责任从来不是零和——把责任结构理顺,准度才敢往上堆。

这个系列下一篇换个方向:AI越强大,零工岗位是变少了还是变多了——数据标注、AI训练师这些新工种,正在怎样流回零工市场。


免责声明:本文引用的条文引自公开征求意见稿(2026年10月8日发布、11月8日截止),正式条文可能调整;文中“限制权倒计时”、“三层权限”等为产品设计实践分享,不构成对任何平台处置结果的承诺或评价。

Leave a Reply

您的邮箱地址不会被公开。 必填项已用 * 标注