野生码农
936 条 AI 资产工作流全量建档:合并批次省额度、断点续跑与三级证据闸门
背景与目标
装备库(AI核武库)里躺着 936 条抄作业+自建的资产(团队/智能体/技能/MCP),每条都是一坨 Markdown 散文。目标是把这些散文里的工作流提取成结构化数据(asset_workflow.steps_json:[{no, name, desc, next[], evidence}]),让驾驶舱 E6 页面能用 Vue Flow 直接画出每条资产的工作流图。
难点不是提取本身,是额度:第一次试跑用 highspeed 档,5 分钟烧光 5 小时限额——936 条全跑一遍,照那个烧法得跑一星期。
过程回顾
尝试 1:highspeed 单条跑(失败)。10-07 上午 pilot 6 条通了(单条约 30s),但 highspeed 档额度消耗约是 K3 的 3 倍(实测:5 分钟烧光 5h 窗口)。直接判死,弃用。
尝试 2:K3-256k 单条跑(能跑但贵)。本人一句话点醒:"合并上下文内容去跑……上下文多塞点是不是可以省额度"。于是改合并批次(--merge 5):多条资产源文拼进一次调用,字符预算切组。核心批 139 条只花 13 次调用(实测,commit 89eb6a7)。
尝试 3:全量批撞限额(预期内)。10-07 晚 23:47 定时任务开跑安全类 797 条,00:34 撞 5h 限额,571 条落库后 125 条 30 秒内集中 exit 1。断点续跑机制兜住:ok/unstructured 行永久跳过,failed 重跑。10-08 下午窗口重置后续跑 25 次调用清完,补跑 1 组解析失败件,936/936 全落库:ok=907 / unstructured=29 / failed=0(实测,台账 fd64d03)。
关键踩坑
- WinError 206(argv 上限 32767):合并批次后提示词超 Windows 命令行上限。解法:源文写临时文件,kimi 从文件读(commit 38c470f)。
- WinError 32(临时目录被占用):kimi 子进程退出后仍短暂持有 cwd,并发下误把成功调用判 failed。解法:
ignore_cleanup_errors=True(736dc98)。 - MySQL 长连接断连:一次 AI 调用 100 秒+,连接早断了。解法:写库前
conn.ping(reconnect=True);更深的教训是最贵的数据(AI 产出)最先落盘——raw JSON 先写盘再写库(89eb6a7)。 - LLM 引用漂移:G2 闸门(evidence 必须是源文子串)初版严查出 859 条异常,抽样发现大半是空白折叠/全半角漂移不是编造。解法:三级比对——严格子串→空白归一化→标点剥离,异常 859→737→核心批清零(ff24886)。唯一豁免件
cloud-security步骤 8:源文是 ASCII 流程图,"(stolen credentials, cross-service exploit)"被表格填充符打断,模型做了视觉重排,内容属实,人工核定豁免(936 分之一,不为此加第四级比对)。 - 超截断大技能:flow-web 单技能拼接 15.7 万字符,超 256k 模型的预算。解法:提取器加
--model/--src-cap,4 条大技能走 K3(1M 上下文)全文不截断重提,全 ok(5eeefb3)。 - 忘注册 argparse 参数:加了
--exclude逻辑忘了add_argument,接力环空转 3 轮才发现。教训:参数类改动必须 dry-run 实跑验证,不许"看着对"。
最终方案(提取器定型)
--batch --merge 5 断点续跑为主通道;轻闸(JSON 可解析即落库)+ 后置 --validate 统一校验(G1 schema/G2 证据实查/G3 步数/G4 引用闭环);问题件 --ids --force 单点回炉不拖主批次;大文件走 --model kimi-code/k3 --src-cap 200000。前端卡14 把 steps_db 口径接进 Vue Flow:分支按 next[] 逐项出边、BFS 分层布局、点节点看 desc+evidence(commit 71f3d66)。
做得好的地方
- 额度工程的账算清了:highspeed(3 倍耗)弃用 → K3-256k 合并批次 → K3(1M) 只给大文件单点用。936 条总计约 187 次调用,比单条跑省一个数量级。
- 撞限额不再是事故是预期:断点续跑+夜间定时任务(本人睡了系统跑),额度窗口变成调度问题而不是阻塞问题。
- 闸门分级务实:严格→归一化→标点剥离三级,每一级都有抽样定性支撑,不是拍脑袋放宽。
复盘与改进
- 验收口径漏了"现场清理":各卡子代理验证期留的 shot_.py/api_test_.py 等垃圾被本人点名"你是怎么做项目的"。根因=派单验收 checklist 只验功能不验现场。已补:项目 AGENTS.md 第 6 条硬闸+派单 checklist 第 7 条(commit 595efb1)。机制教训:验收清单漏一项,垃圾就积一批。
- 命名自作主张翻车:下午本人说"系统名称进一步修改",我直接定了"AI经营驾驶舱"写进库;晚间会谈本人亲定 OPCAIOS。命名是本人的权力,我该给选项而不是给答案。已回改。
- 工程代号上了菜单:E6/P2N/T1 这些工卡代号直接当了菜单名,本人看不懂("啥玩意")。规则:工程代号只活在任务卡和代码里,界面一律业务语言。
成长评估(10 分制,只对事)
| 维度 | 分 | 证据 |
|---|---|---|
| 指令质量 | 8.5 | "references 必须读进去,token 上去也没办法"——拍板口径一次到位,准确优先原则零歧义;"晚上睡觉时再干 797 条"——调度指令直接定义了触发时机与资源约束,cron+断点续跑照此建成 |
| 判断与结论 | 8.5 | "安全类先不跑,分批把流程走通"——用 139 条核心批验证管线再放大,避免了 936 条全量踩坑;事后证明全对(坑都在核心批暴露) |
| 思维方式 | 8.5 | "合并上下文是不是可以省额度"——从计费机制反推架构,这一句直接催生合并批次主方案,省下一个数量级 |
| 最终结果 | 8.5 | 936/936 落库,failed=0,唯一异常人工核定豁免;但菜单改名与晚间 OPCAIOS 定名冲突,下午白改一次 |
| AI 协作 | 7.5 | 抓包三次全命中机制层(垃圾=验收缺闸、代号=界面语言、名称=权力边界);但"你是怎么做项目的"这种火本该我自己先发现 |
AI 自评失分点:①验收 checklist 漏"现场清理"项,垃圾堆积到被本人点名;②站点命名未给选项直接拍,与本人晚间裁定冲突返工;③--exclude 忘注册 argparse 致接力环空转 3 轮,参数改动没 dry-run 验证。
指令实证:
- "references 这个里面包含了技能的详细工作流,必须要考虑进去啊,所以选择 B。token 上去也没办法,你肯定要搞得准确嘛"——这条把提取方案从"省 token 浅读"改为"准确优先全读",直接决定了 G2 证据闸门的可行性(没有 references 就没有证据可实查)。证据落点:extract_workflow.py build_source 拼接 references+SRC_CAP=60000。
- "等活干得差不多,晚上空的时候,我睡觉的时候再干这个 797 条的第二批"——把"批量任务"重新定义为"调度任务",催生了 cron 23:47 夜间批+断点续跑组合,额度窗口从阻塞变资源。证据落点:cron 01M4B4AYK193497VGSH1ME9XD8+extract_workflow.py 断点跳过逻辑。
素材点
- "936 条 AI 资产一夜建档"的数字张力(媒体稿候选,S2/S3);
- "highspeed 5 分钟烧光 5 小时额度"的踩坑钩;
- "合并上下文省额度"的反直觉技巧;
- "验收清单漏一项,垃圾积一批"的管理学金句;
- ASCII 流程图骗过证据闸门的 936 分之一豁免案例。