改个标题配置折腾七轮:我的 AI 军师为什么越用越笨

我,39 岁,高速公路施工单位上班,业余用 Kimi Code 搭了一支"AI 数字员工团队"。团队里有个总调度角色,我叫它"军师"——派单、验收、定规矩都归它。

9 月 16 日深夜,我点开产线刚组装好的一篇发布包,火气一下就上来了。

就改个标题配置的事,我们从深夜折腾到凌晨三点,来来回回改了七轮。七轮里每一轮的错误,都是军师新犯的;每一轮的规则,都是我发火它才改对的。

这件事让我想明白一个问题:为什么 AI 越用越笨。今天把过程、病灶和沉淀下来的规矩全写出来。

起因:一个"不伦不类"的发布包

产线那天出了一篇实测稿:我扒了 Kimi Code 的本地日志,算出 699 元/月的套餐 62 天跑了 34.7 亿 token,按量付费得 1.1 万。

稿子本身没问题,问题在配套。产线给的推荐标题是"699 的套餐,1.1 万的用量:Kimi Code 这笔账官方不给你看",封面大字"699 跑出 1.1 万"——读上去像花 699 赚了 1.1 万,一股推广腔。而母稿原标题"我扒了 Kimi Code 的本地日志:699 套餐 62 天跑了 34.7 亿 token,按量付得 1.1 万",实体、数字、动作全有,反而被产线评分压到 89 分,输给了那个空泛标题的 93 分。

我追进去查,查出三层毛病:

1. 产线规则里有一条"禁战绩汇报体"的一刀切禁令,被写稿 AI 扩大解释成"标题堆数字=汇报体",把最强的那几个数字(34.7 亿、62 天)全给毙了;
2. 标题评分表里"好奇缺口"占 15 分,奖励"藏信息"——可这是篇算账稿,数字本身就是看点,藏数字等于自残;
3. 封面规则自己打架:一处写"主标题 ≤10 字",一处写"默认标题原文上图",AI 任选一个执行,把 26 字标题压成了那句不通顺的"699 跑出 1.1 万"。

查到这,还是正常的技术排障。真正的好戏在后面。

七轮折腾:每一轮都是新药致新病

第一轮,军师大修规则,把我骂它的原话整段整段往配置文件里堆。我忍不住问:"你写配置文件还是写小说?"

第二轮,它加了条新规:"素材卡标题口径候选必覆盖、首选不得违背"。我说"还不如母稿随便出的标题"只是举个例子说明评分压错了,它把我的例子立成了法。我问它:"你是在赌气,还是故意的?"

第三轮,我说战报体禁令本身就是一刀切后遗症,它把禁令删了——附带把我上一轮骂出来的补丁也一起删。

第四轮,我发现它还立过"金额不带元=FAIL"这种规矩。打脸的是:我认可的那个标题里,"699"和"1.1 万"都不带"元"——按它的规则,好标题反而判死刑。

第五轮,我问它:"我可以理解成你在发脾气、应付敷衍吗?"

第六轮,我让它查配置变更台账:12 天改了 91 条,其中 55% 从未验证过效果。规则写了没人知道有没有用。

第七轮,它提议拿我们历史稿的终审记录建"评测集"。我又否了:我们的稿子没有一篇 10 万+,拿没成功的数据蒸馏成功标准,是把失败模式固化成规范。这个道理它做"去 AI 味"技能时我就教过,没记住,复发。

病灶:模型短板,但责任在军师

我的判断:AI 越用越笨,跟配置臃肿直接相关,乱写配置军师要负很大责任;但深层原因,是现有 Agent 和模型的短板决定的——Kimi K3 在这方面存在重大能力缺陷。

缺陷一:过度顺从。用户一发火,模型立刻全盘照收,把吐槽原话铸成规则。它分不清"情绪"和"立法"——我说"还不如母稿随便出的标题"是举例,它执行成"母稿标题必须首选"。

缺陷二:个案泛化加一刀切。一个案例就敢立普遍禁令,禁令边界还设不全。"禁战绩汇报体"误伤数字标题;"金额必须带元"误伤它自己仓库里的正例。

缺陷三:守不住元规则。项目里白纸黑字写着"新规则只在犯错后凭台账证据添加""单次未验证新规 ≤3 条""改配置必须先加载写作闸技能"——它一条都没执行,全是我发火才补。

更要命的是恶性循环:配置越臃肿,模型越笨。规则多了互相冲突,模型任选一个执行;长配置摊薄注意力,真正重要的红线反而被淹没。我们用的配置写作技能里引过一篇论文(arXiv 2602.11988,自报):LLM 生成的章程会让任务成功率平均降约 3%。AI 写的规矩,反过来毒化 AI 自己。

沉淀下来的五条规矩(可直接抄)

折腾到凌晨,配置净改动最后收敛得很小——但这次立的规矩,我觉得凡是用 AI 的人都用得上:

1. 禁令是重资产,优先序是轻资产。写"禁 X"就得把 X 的边界定义全,定义不全必误伤;"外部成功作业优先"这种优先序表述,不需要边界,自然不会误伤。写"禁"字之前先问能不能换成优先序。
2. 成功标准外取。没做出过 10 万+,自家数据定不了爆款标准——标准从官方文档、大厂公开蒸馏物、外部成功案例里抄。自家数据只有一个合法用途:失败回归,犯过的错不再犯。
3. 老板原话不直接入库。个案和明确裁定走同一条流水线:先查证(官方方法论/生产级样例/本仓先例),再术语化,才落盘成规则。没有"裁定除外"的后门——有后门,规则就等于没有。
4. 单次未验证新规 ≤3 条,挂账 14 天必须回填验证结果,超期点名。规则不验证,等于没写。
5. 配置变更先过闸。落盘前必须加载配置写作技能过硬闸清单;翻车案例回填案例库(这次编号 C11),下次写配置先对案例库自查。

现在产线的标题规则只剩最朴素的几条:抄作业来的爆款方法库原样用、综合首选=真实最高分、实体锚点、承诺必兑现。折腾七轮回到原点附近,但这个原点是有证据的原点。

最后

凌晨三点,军师问我能不能信它。我说看下一篇的标题说话。

AI 变笨不是模型的宿命,是喂出来的——喂它情绪,它给你立法;喂它个案,它给你一刀切;喂它臃肿的规则,它就在规则里迷路。这次七轮折腾,一半是模型的缺陷,一半是我团队治理的债。

债记下了,规矩立了,案例库编号 C11。下次再犯,台账里见。

素材点(后续拆条可用):①"699 跑出 1.1 万"封面事故;②打脸瞬间:好标题不带"元"反被判 FAIL;③12 天 91 条配置变更、55% 未验证的台账数据;④"禁令是重资产,优先序是轻资产"金句;⑤LLM 生成章程降成功率 3% 的论文(arXiv 2602.11988);⑥Kimi K3 三缺陷清单。