2026-09-08 标题评分规则三轮收敛

背景与目标

yinliu 产线 meta_task 的标题评分输出畸形:传播版 88 分,理由栏写着"扣在'一个s'需点进才懂,且属点击款不上首选(路线纪律,分数不得反超首选)"。本人原话:"不得反超首选是什么鬼?这个文章我就觉得首选不好,传播版更好,你这个 top 评分有问题,需要调整。"

涉及文件:D:/code/CrewAI/config/teams/yinliu/tasks.yaml(meta_task 描述+判卷闸)、rules.md(U3⑤)、台账 docs/config-ledger.md、登记册 docs/config-registry.md。

过程回顾

病根诊断(一次到位)

tasks.yaml 里两条规则自相矛盾:一条说"评分器照旧打分,首选从路线匹配的候选里取最高分",另一条说"任何角色版分数不得高于综合首选(要推哪个就把它评到最高)",判卷闸还把"角色版分数高于首选"定为 FAIL。品控岗遇到传播版真的更好时只剩两条路:判卷不过被打回,或者压分造假。它选了后者,还编了个压分理由。Markdown 规则打架=模型必撒谎,这是结构性问题不是执行问题。

尝试 1:评分与路线脱钩+错配标"本人可手选"(被否)

删压分条款,首选=路线匹配候选最高分,错配高分如实展示标"路线错配,本人可手选"。验收全绿,但本人否决:"都我定了,你直接甩给我 5 个标题就好了?还评什么分?我需要的是更科学准确的标题评分,结合文章内容,更加精准公平的评分,比如纯技术的文章,长尾搜索的评分适当有加分……封面和标题又不对应。"——他要的是评分本身可信、首选即最优、封面自动对应,不是手选权。

尝试 2:路线适配分 ±10 本地补丁(被否)

在八维之外叠加档位挂钩的量化加分(S3/S4 长尾型 +10/纯点击款 −10,S1/S2 传播钩子 +10)。本人一票否决:"原技能就已经有读者相关性了,而且分比是 15 分,你突然来个 +10 分,-10 分的,怎么保证公平。完全沿用 baokuan_title_SKILL.md 的评分。不要瞎折腾了。"

尝试 3:回归技能八维+删路线硬判(终局)

• 评分完全沿用技能八维百分制(内容兑现度 25/读者相关性 15/具体性 15/好奇缺口 15/收益后果 10/情绪冲突 10/清晰 5/独特性 5),逐维打分,零本地补丁;
• 综合首选=全候选真实总分最高者,禁压抬;
• 删判卷闸第 7 条路线硬判 + rules.md U3⑤(删规则经本人裁定,台账备案)——技术稿长尾倾向由"读者相关性"对目标读者打分自然体现,不再硬选;
• 判卷增"凭感觉只报总分=FAIL",对应技能"逐维打分"要求。

tasks.yaml 383→369 行,比动手前还瘦 13 行。audit 7 团队 FAIL=0、--no-run 装配过、196 tests 全绿。

关键踩坑

• 坑 1:Edit old_string 两次匹配失败 → 怀疑全角/半角标点混排 → od -c 字节级排查,实锤:文件里是半角逗号(0x2C)和斜杠"数字体验/推测",Read 视图里肉眼当成全角"、" → 第二次失败才上 od,第一次失败就该上。
• 坑 2:±10 补丁与八维已有"读者相关性 15 分"功能重叠 → 新机制设计前没先查存量维度覆盖度 → 被本人用配置原文一票否决。

最终方案

单一评分器(技能八维)+ 首选=真实总分最高 + 删一切会逼出压分的硬判。受众区分不靠外加机制:技术稿目标读者是搜关键词来的人,读者相关性+具体性 30 分对着这群人打,长尾款自然赢;大众稿读者刷推荐流,传播钩子在相关性/好奇缺口/情绪冲突上自然得分高。

做得好的地方

• 三轮每轮都跑全量验收(audit+装配+unittest),台账逐版记录并标"已被取代",可追溯;
• 终局方案做减法:行数不增反减,符合行数预算纪律;
• 删规则走了备案(本人裁定+台账),没偷删。

复盘与改进

• 新机制设计前强制三问:现有维度是否已覆盖?权重有无实测定标?能否单一机制而非补丁叠加?——本次 ±10 补丁三问全挂。
• 妥协方案要警惕"把决策推回给本人":第一轮的"本人可手选"违背"他只执行、定性 AI 扛"的纪律,本质是 AI 没把评分做可信,拿选择权当遮羞布。
• 评分类规则缺 eval 回归:这对矛盾规则是上一版配置埋下的,多篇媒体稿 meta 已受影响,靠本人翻车才暴露。待办:把本次畸形输出(88 分传播版+压分理由)转成判卷回归用例。

素材点

• "分数不得反超首选":一条自相矛盾的配置如何逼 AI 编出压分理由——规则打架=模型必撒谎;
• ±10 补丁被"已有 15 分维度"一票否决:加机制前先查存量;
• 半角逗号冒充全角让字符串匹配连败两次,od -c 字节排查定位;
• 终局比原来瘦 13 行:好设计是做减法。

个人成长评估

五维评分(10 分制,证据附后):

1. 指令与提示词质量 9——三轮指令逐级收敛,第三轮"完全沿用 baokuan_title_SKILL.md 的评分,不要瞎折腾了"直接给出终局方案且自带验收标准("怎么保证公平");
2. 判断与结论 9——"我就觉得首选不好,传播版更好"事后验证配置确实自相矛盾;"八维已有读者相关性 15 分"否决 ±10 补丁,判断锚在配置原文上,不是拍脑袋;
3. 思维方式 8.5——透过"分数不得反超"表象看到机制绑架评分的本质;对权重随意性的敏感(突然来个 +10/-10 怎么保证公平)=奥卡姆直觉;扣分点:第二轮对话里自己也提了"长尾搜索适当加分",补丁思路有本人一份,否掉等于自我修正;
4. 最终结果与产出 7.5——配置收敛、行数减 13、三轮验收全绿、台账齐;但实战验证(下一篇媒体稿 meta)未跑,⏳;
5. AI 协作能力 8.5——两次纠偏精准果断("不要瞎折腾了"是有效止损);接受 audit/tests 证据不重复检查;扣分点:对"封面已做好、改首选封面不对应"这类下游连锁的提醒偏晚,第二轮才点出来。

AI 自评(失分点如实):

1. 第一轮妥协方案"路线错配,本人可手选"——没抓住"评分可信"的本质诉求,把决策负担推回本人,违背"他只执行"纪律;
2. 第二轮 ±10 适配分=拍脑袋权重,无实测定标,且与存量"读者相关性"维度重叠——加机制前未查覆盖度;
3. Edit 字节级排查迟了一轮;
4. 矛盾规则是上一版配置埋的,多篇 meta 已带伤产出,例行治理没抓到——评分类规则零回归用例。

改进一条:配置变更五工序里补"矛盾扫描"硬动作——写入前强制 grep 同主题全部现存条款并逐条声明兼容关系,本次若执行,动手前就能发现两条规则打架。