三条硬闸门:为什么「能生成」不等于「能批量」
这份文档解释 audit.py 的判据来源。判据全部来自实际交付中的失败与纠正,不是理论推演。
0. 问题的错问法
最常见的问法是「这个能不能用 AI 做」。这个问题没有答案,因为「能做」有三种互相矛盾的意思:
- 能生成 —— 模型能输出一个看起来像样的结果(今天的模型几乎都能)
- 能验收 —— 有人(或机器)能判断这个结果对不对
- 能规模 —— 每个案例的处理成本不随人头线性上升
绝大多数「AI 降本」的账算错,是把 ① 当成了 ③。
1. G1:有唯一正确答案或可核对的对照
判据:把结果给两个互不通气的专业人士看,他们是否给出相同结论?
- 通过:错音清单、乐理判分、对账差异表、发票金额校验
- 不通过:宣传文案好坏、封面图美感、视频节奏
不通过不代表不能做,只代表不能批量——每一份都要人看,成本随份数线性增长。
2. G2:失败可被自动检测
判据:出错时,不需要人看,系统自己能不能报警?
这条比 G1 更硬。很多任务有客观答案(G1 过),但没有可自动化的检测手段(G2 不过):
- 例:一份工程方案里的参数与正文是否一致。答案客观存在(不一致就是错),但传统上只能人工逐条比对 → G2 不过 → 不可批量。
- 一旦写出一致性自检脚本,G2 就过了,任务立刻变成可批量。
推论:很多”不可批量”的任务,卡点不在模型能力,在缺一个检测器。造检测器往往比造生成器便宜,且更值钱。
3. G3:差异不会引出公平感比较
判据:两个客户拿到不同质量的结果时,会不会变成”凭什么他有我没有”?
这条最容易被忽略,也最容易把项目做死。
真实反例(已发生,代价是六位数的人力):
- 设想:给每个学员生成一份专属成长纪录片,边际成本≈0。
- 实际:生成便宜,但验收贵——留哪段、要不要美颜、细节瑕疵,全是主观判断,只能人工。每条要精良才有传播性,成本根本降不下来。
- 更致命的:原本客户付费的锚是客观成果(考级证书:有标准、可量化、正向反馈)。加了主观的「专属视频」之后,锚变成了比较——客户开始比细节、比待遇,争议成本随人头线性增长。
- 净结果:不做没有损失,做了增加风险 → 负期望值。
据此得到的操作规则:判断一件事要不要做,先问「不做会损失什么」。答案是「什么都不损失」,就不要做——这比「ROI 为正」更严格。
4. 两条软闸门
- S1 输入数据可获取:拿不到结构化输入,模型只能猜。数据在纸上、在微信里、在别人系统里 → 先解决数据,再谈自动化。
- S2 人工判断占比:如果每一单里超过 20% 的环节需要人拍板,那这件事的正确描述是「人做,AI 打下手」,不叫自动化。按自动化立项,验收时必然扯皮。
5. 怎么用这份判据
- 把手上所有重复任务列出来,填进
tasks.json(字段见 README)。
- 先跑一遍,看哪些是
BATCH、哪些是 NOT_BATCHABLE。
- 对
BATCH 的任务,先做一个试点,用真实数据算节省,再谈铺开。
- 对
NOT_BATCHABLE 的任务,问一句:缺的是检测器,还是根本没有客观标准? 前者可以工程化,后者不应该碰。
6. 免责与边界
- 工时节省是上限估计,不是承诺;试点实测才算数。
- 判据是筛子,不是证明。它只能告诉你「大概率不该做」,不能告诉你「一定能做成」。
- 涉及需前置资质的业务(金融、医疗诊断、代办证件等),先合规,再自动化。