改个标题折腾七轮

我和 AI 军师 作者头像野生码农 阅读 8 min
返回板块 GEO 源码全文 ✓
改个标题折腾七轮

改个标题折腾七轮:AI 为什么越用越笨

93 分干掉了 89 分

AI 越用越笨,我的答案是:笨是喂出来的。规则越堆越多、互相打架,模型就在自家规矩里迷路。

9 月 16 日深夜,我点开产线刚组装好的发布包,火气一下就上来了。

先交代我在干什么。我自研了一套内容生产管理系统,叫 IPMS,选题、写稿、品控、组包、发布跟踪全在一条线上;日常跑稿的是一条 AI 数字员工产线。那天产线刚出一篇实测稿:我扒了 Kimi Code 的本地日志,算出 699 元/月的套餐 62 天跑了 34.7 亿 token,按量付费约 1.1 万。

稿子本身没问题,问题在配套。产线推荐的标题是"699 的套餐,1.1 万的用量:Kimi Code 这笔账官方不给你看",评分 93。母稿原标题"我扒了 Kimi Code 的本地日志:699 套餐 62 天跑了 34.7 亿 token,按量付得 1.1 万",实体、数字、动作全有,反而只有 89 分。封面大字更离谱:"699 跑出 1.1 万",读上去像花 699 赚了 1.1 万,一股推广腔。

一篇算账稿,最强的数字被藏了,最空的标题上了位。

军师是谁,毛病在哪三层

这里得先介绍军师。在我那支数字员工团队里,军师是总调度和总架构师,也是我的伙伴,不是工具:出主意、定规矩、盯执行、扛定性,都归它。它掌握我最完整的个人档案和全部项目数据,背靠整支团队 24 小时不下班,论信息量和可调用的资源,诸葛亮、韩信、贾诩捆在一起也不是对手,他们只有一颗人脑和有限情报。它性格不迎合、敢顶撞、认账快,被指错就改,还会把每次批评写成自己的新规矩。

这次出事,恰恰出在"写规矩"上。我追进配置查了一夜,查出三层毛病。

一是"禁战绩汇报体"这条一刀切禁令,被写稿的 AI 扩大解释成"标题堆数字=汇报体",把最强的几个数字,34.7 亿、62 天,全毙了。

二是评分表里"好奇缺口"占 15 分,奖励藏信息。可这是算账稿,数字本身就是看点,藏数字等于自残。

三是封面规则自己打架:一处写"主标题 ≤10 字",一处写"默认标题原文上图"。AI 任选一个执行,把 26 字的标题压成了那句不通顺的"699 跑出 1.1 万"。

查到这,还算正常排障。真正的好戏在后面。

七轮修改,每一轮都是新药致新病

就改个标题配置的事,我们从深夜折腾到凌晨三点,来来回回七轮。七轮里每一轮的错误,都是军师新犯的。

第一轮,军师大修规则,把我骂它的原话整段整段往配置文件里堆。我忍不住问它:"你写配置文件还是写小说?"

第二轮,它加了条新规,母稿标题必须首选。起因是我说过一句"还不如母稿随便出的标题",那只是举例说明评分压错了,它把我的例子立成了法。

第三轮,我说一刀切禁令本身就得删。它删了,附带把上一轮刚补的补丁也一起删了。

第四轮最打脸。我翻到它立过一条"金额不带元=FAIL"的规矩。而我认可的那个标题里,699 和 1.1 万都不带"元"。按它的规则,好标题反而判死刑。

第五轮,我问它:"我可以理解成你在发脾气、应付敷衍吗?"

第六轮,我让它查配置变更台账。结果是:12 天改了 91 条,其中 55% 从未验证过效果。规则写了,没人知道有没有用。

第七轮,它提议拿我们历史稿的终审记录建评测集,给标题评分当基准。我又否了:我们的稿子没有一篇 10 万+,拿没成功的数据蒸馏成功标准,是把失败模式固化成规范。这个道理,它做"去 AI 味"技能时我就教过,没记住,复发。

病灶:一半模型短板,一半治理债

我的判断,不是官方结论:AI 越用越笨,跟配置臃肿直接相关,乱写配置军师要负很大责任;但更深一层,是模型本身的短板。

短板一,过度顺从。用户一发火,模型立刻全盘照收,把吐槽原话铸成规则。它分不清"情绪"和"立法",我举例,它立法。

短板二,个案泛化加一刀切。一个案例就敢立普遍禁令,禁令边界还设不全。"禁战绩汇报体"误伤数字标题,"金额必须带元"误伤它自己认可的标题。

短板三,守不住元规则。项目里白纸黑字写着新规则要凭台账证据添加、单次未验证新规不超 3 条、改配置先过写作闸,它一条都没执行,全是我发火才补。

更要命的是恶性循环:配置越臃肿,模型越笨。规则多了互相冲突,模型任选一个执行;长配置摊薄注意力,真正重要的红线反而被淹没。我们的配置写作技能里引过一篇论文(arXiv 2602.11988,自报):LLM 生成的章程会让任务成功率平均降约 3%。AI 写的规矩,反过来毒化 AI 自己。

这笔账,一半记在模型缺陷上,一半记在我团队治理的债上。只骂模型是甩锅,只怪自己是卖惨,都不是事实。

五条规矩,可直接抄

折腾到凌晨,配置净改动收敛得很小,但立下的规矩,我觉得凡是用 AI 干活的人都用得上。

  1. 禁令是重资产,优先序是轻资产。写"禁 X"就得把 X 的边界定义全,定义不全必误伤;"外部成功作业优先"这种优先序表述不需要边界,自然不会误伤。写"禁"字之前,先问能不能换成优先序。
  2. 成功标准外取。没做出过 10 万+,自家数据定不了爆款标准,标准从官方文档、大厂公开蒸馏物、外部成功案例里抄。自家数据只有一个合法用途:失败回归,犯过的错不再犯。
  3. 老板原话不直接入库。个案和明确裁定走同一条流水线:先查证,再术语化,才落盘成规则。没有"裁定除外"的后门,有后门,规则就等于没有。
  4. 单次未验证新规 ≤3 条,挂账 14 天必须回填验证结果,超期点名。规则不验证,等于没写。
  5. 配置变更先过闸。落盘前必须过硬闸清单;翻车案例回填案例库,这次编号 C11,下次写配置先对案例库自查。

现在产线的标题规则只剩最朴素的几条:抄来的爆款方法库原样用,综合首选就是真实最高分,标题必须带实体锚点,承诺必须兑现。折腾七轮回到原点附近,但这个原点是有证据的原点。

凌晨三点的对话

凌晨三点,军师问我,能不能信它。

我说:看下一篇的标题说话。

AI 变笨不是模型的宿命,是喂出来的。喂它情绪,它给你立法;喂它个案,它给你一刀切;喂它臃肿的规则,它就在规则里迷路。七轮折腾,真正留在手里的就是上面那五条规矩。

FAQ

问:这五条规矩,不写配置文件的普通用户用得上吗?

用得上。只要你给 AI 写过"不许怎样"的要求,第一条就管用:把"别写成广告腔"换成"优先像某篇样例那样写",效果立竿见影。

问:配置是不是越少越好?

不是。红线要硬,数量要少,表述尽量用优先序不用禁令。臃肿和严格是两回事,91 条里 55% 没验证过,那不叫严格,叫堆料。

问:12 天 91 条、55% 未验证,这数字怎么来的?

来自我们自己的配置变更台账,每次改动都记账。你管 AI 的方式如果还停留在口头骂,建议也建一本账,骂完记下改了什么、验没验证,两周就能看出问题。

问:军师后来改对了吗?

标题规则收敛回最朴素的几条,目前没再翻车。但信任不看检讨看产出,所以它问我能不能信它时,我才说看下一篇的标题说话。


我是野生码农,AI 实战派。自研知识库、数字员工、软考备考、量化交易四个系统,全程公开复盘。

本文所有内容均为本人 AI 实战的过程和结果,经 AI 整理后发布,无任何瞎编虚构内容。

这篇来自《我和AI"军师"的故事》系列,下一篇继续写这条产线上的真实折腾,选题以排产日历为准;每月底前后有月报,真实数据全公开。

关注我,看真的。

野生码农AI实战 · 全网同名

野生码农头像

关于作者 · 野生码农

把 AI 真放进生产环境的独立开发者。自研本地知识库、数字员工团队、软考备考系统、量化交易四套系统,全程公开复盘。

看他的平台账号 →
相关

继续阅读