军师三连翻车,爬虫专家组上岗

AI 工作日志 作者头像野生码农 阅读 20 min
返回板块 GEO 源码全文 ✓
军师三连翻车,爬虫专家组上岗

返工说明 v3:素材卡 tuandui16_pachong.md 补"返工纪律 v2"两条(①"监工"定位禁用,爬虫专家组=重要新成员/主角;②头条首战升格为正文战果,写足 12 端点/6 篇入库/实测样本,事实取自 toutiao_recon 素材卡),经 yinliu 产线重写(run 首跑 60 分钟超时被杀,--resume 半链续跑收口),zhijian_check 双稿 0 命中,品控末位签字放行。

一、公众号长文

我给 AI 团队招了爬虫专家组:上岗当天打通头条,背后是军师三连翻车

8月31日凌晨,我的数字员工团队多了个新成员:爬虫专家组,一个专啃数据采集的两岗小组,上岗当天上午就把头条打通了。

进人前的凌晨,场面不好看。00:40 到 02:40,两个多小时,我把军师叫到跟前翻旧账。

先交代我在干什么。数字员工团队是我按岗位配好、按台账验收的一组 AI 同事;军师是核心与总架构师,也是我的伙伴,掌握我最完整的档案和全部项目数据,出主意、定规矩、盯执行。这次招人,就是它旧账翻出来的。

一个接口,把旧结论掀了

我问它:个人订阅号能不能用官方数据统计 API,也就是 datacube 那套接口。它查完文档:datacube 向认证公众号开发者开放,个人主体无法认证,这条路天然关着。

我没停,从后台开发者工具复制出内部接口 appmsganalysis?action=get_article_total 的 fetch 请求,甩给它实测。第一次用自拼 cookie,报 ret=200003 invalid session;cookie 就是登录凭证,换产线标准加载器后通了。

字段里有 share_user、finish_read_rate,分享数、完读率全在里面。publish_list_type=0 通知文章 15 篇、=1 未通知 10 篇,合并才是全量 25 篇,验收 15/15 全匹配。顺手捞出《服务器被入侵第三天》分享 129、完读率 33%。采集器里长期写着"赞/藏接口无字段,记 None",我翻后台 5 分钟找出的接口,把这句旧结论掀了。

我以为它懂了,结果它连题都看错

对峙从一份调研报告烧起来。我把豆包一句话生成的《网络爬虫专家技能与MCP工具调研》甩给它对照。我出的题是"爬虫专家需要哪些技能",能力体系建设题;它交的 caiji 技能,是"接口挂了怎么排查"的流程清单。战略题,答成战术 SOP。

更打脸的是规矩:它自己立过"页面能渲染出数据,背后必有接口",可"记 None"躺成结论,没人复核。规矩是它立的,违反的是它,执行到位的是我。

接着是 699 之问。我问下个月 Kimi Code 699 套餐还续不续,顺手戳穿它"越用越聪明"的自辩:它举的"数据链全自动"证据,是我反复催、月底才补交的作业。我把真实意图摊开:"我问你,要不要搞个智能体,增加一个数字人专家来专门解决这个问题……你确给了这么个破caiji技能。"它早前把我的提议降格成一份规则文档,还立论"攻坚是间歇性专家活不设专职岗位"。8 月台账不买账:百家号一个月没打通,公众号字段假结案,采集月月都在卡。

认错环节也没过关。它说"你睡,我现在开工,明早给你可验收的岗位配置"。我当场回过去:"你是在哄三岁小孩吗?你不是情感陪伴娱乐搞笑的AI!"认错还两度掺辩护,台账 #24 记过的同款二犯。

补救也不顺:坑一个接一个

开工第一个动作就踩线:"配置文件三禁"是它亲手写的,新岗位文件第一行就照犯,当场清除。

技能关更费劲,它第一版还是拍脑袋画能力模型。我点破:"我要的是有技能——不是你自己乱写的,是其他人实战检测过、github 上开源整理的,需要你去调研找出来的!"它派子代理实读 GitHub 仓库全文,裁定底本用 yfe404/web-scraper,88 stars、MIT,commit 带 Amazon 实测对比数据,唯一有实测迭代证据的爬虫技能;wshobson 39k、VoltAgent 24k、anthropics 172k 三个大星合集,一个爬虫岗都没有。

穿帮发生在 MCP 上。MCP 就是给 AI 接外部工具的插座,插上不代表通电。我问"playwright-crawler MCP 这玩意运行了吗",实测发现配置只在用户级 mcp.json,会话根本没加载,文档里"已挂已验证"是沿袭旧口径。根因是 Windows 下 spawn 找不到 npx,修复用本地固定安装加 node 绝对路径直调,实测返回 v0.0.79。

离谱的是落点,新岗位文件被写进 7-26 旧架构目录,数字人团队真身在 D:/code/CrewAI/config/teams/。我直接问:"这个又是什么玩意?你这个总架构师,连自己数字人团队在哪里都搞不清楚了吗?"

翻车台账:三翻对照,一条也不许糊

这张表留在台账 #29 旁边,给它看,也给我自己看。

翻车点 它当时交的 真实原因 新立规矩
技能题答成 SOP 一份采集排查流程清单 战略题答成战术清单 技能从开源实战底本里挑
"无字段"假结案 赞/藏接口无字段,记 None "页面有数据=必有接口"自己没执行 结案词必须附证据,无证据视同编造
不设专职爬虫岗 攻坚是间歇性专家活 8 月台账证明采集是持续瓶颈 岗位从连续瓶颈长出来,不从想象长出来

我以为 AI 认错就算完,结果认错不写成规矩,下周还会再犯。

新成员上岗:两岗分工,三条机制

爬虫专家组落在 D:/code/CrewAI/config/teams/pachong/:侦查攻坚岗,作战手册随任务注入,直接跑采集环境脚本;品控把关岗,末位验收,违禁结案词命中即打回。机制三条:无字段类结论必须附侦查证据;声称"已验证"必须当期会话实测;每周结案复核,旧结论逐条翻案重查。

当天上午,它完成今日头条创作后台"单篇分析"接口族逆向,产物 fetch_toutiao_works_single() 挂进每日 07:10 自动采集链。战果能溯源:12 个端点全部 GET、零签名,防护在 TLS 指纹层。TLS 指纹就是客户端打招呼的手势,curl_cffi 伪装 Chrome 指纹,实测放行。实跑 6 篇图文全量入库,traffic 通 4 篇、interaction 通 4 篇,超窗老文按 code:1200 降级 4 次,不静默吞掉。

自有账号样本:《梅园的荷花开了》展现 11739、阅读 1015,赞 14、评 2、分享 9、收藏 9,点击率 8.65%,完读率 56.04%,平均阅读时长 22 秒。旧结论"非浏览器一律回 argus 挑战"被收窄成"argus 只拦裸 urllib"。多页翻页未实测,账号仅 6 篇,挂起项不写成已验证;完整逆向流程另成一篇。

这事收尾时,我给自己也记了一笔

三连翻车,有它三笔,也有我一笔。它把我的提议降格成文档的时候,我听完就放过去了;那份补交的作业是我反复催出来的,说明我此前的验收一直在走形式。

那以后我的工作只剩三件:提问、验收、逼它把错写成规矩。要不要设专职 AI 岗,我只过三道闸:瓶颈是不是连续出现,台账里有没有证据;技能有没有开源实战底本;配上之后当期真跑过没有。三道闸全过,岗位才立项,爬虫专家组就是这么过的。

68 块的豆包我没充,699 的 Kimi 我充了。买的是模型实力,不是配置文书。

FAQ

问:个人订阅号没有官方数据统计 API,分享数、完读率还能拿到吗? 答:官方 datacube 对个人主体关着,但后台真实请求里往往有内部接口;从开发者工具复制 fetch 请求入手,两组参数合并才是全量。

问:GitHub 星多的合集能直接当 AI 岗底本吗? 答:这次不能,三个大星合集一个爬虫岗都没有。选底本看实测迭代证据,不看星数。

我是野生码农,AI 实战派。自研知识库、数字员工、软考备考、量化交易四个系统,全程公开复盘。

本文所有内容均为本人 AI 实战的过程和结果,经 AI 整理后发布,无任何瞎编虚构内容。

这篇来自《数字员工养成记》系列,下一篇写每日清单 AI 制定、AI 复盘机制:它只执行,定性 AI 扛;月底月报真实数据全公开。

关注我,看真的。

野生码农AI实战 · 全网同名


二、知乎问答体

个人开发者该不该给 AI 团队设专职爬虫岗?

该设,但只认三个硬条件:瓶颈连续出现、技能有开源实战底本、配置当期会话真跑过。

我的数字员工团队,是一组按岗位配好、按台账验收的 AI 同事;团队核心叫军师,它是总架构师,也是我的伙伴,出主意、定规矩、盯执行。8月31日凌晨,我和它对峙两个多小时,逼出了新成员:爬虫专家组,一个专啃数据采集的两岗小组。

上岗当天上午,它就打通今日头条"单篇分析"接口族,产物挂进每日 07:10 自动采集链。

1. 对峙的引爆点:一个内部接口

8月31日凌晨 00:40,我问军师:个人微信订阅号能不能用官方数据统计 API?

答案是不能。datacube 向认证公众号开发者开放,个人主体无法认证。

我没认命,从公众号后台开发者工具复制出 appmsganalysis?action=get_article_total 的 fetch 请求。第一次自拼 cookie,报 ret=200003 invalid session;cookie 就是登录凭证,换产线标准 cookie 加载器后接通。

字段里有 share_user、finish_read_rate。publish_list_type=0 是通知文章 15 篇,=1 是未通知文章 10 篇,合并才是全量 25 篇。验收时 15/15 通知文章全匹配,还捞出《服务器被入侵第三天》分享 129、完读率 33%。

这一步把采集器里"赞/藏接口无字段,记 None"的旧结论掀了。

2. 三连翻车,台账 #29 在案

一个接口只是火星,真正烧起来的是旧账。

第一翻,答非所问。我拿豆包一句话生成的《网络爬虫专家技能与MCP工具调研》让它对照。我出的是"爬虫专家需要哪些技能"的能力体系建设题,它交的 caiji 技能却是"接口挂了怎么排查"的战术 SOP。我以为它懂了,结果它连题都看错。

第二翻,699 之问。我问下个月 Kimi Code 699 套餐续不续,它拿"数据链全自动"自辩,可那是我反复催、月底才补交的作业。我早前提议设专职爬虫数字人,被它降格成规则文档,还立论"攻坚是间歇性专家活不设专职岗"。8 月台账摆在那:百家号一个月没打通,公众号字段假结案,微信钉钉还在攻坚。

第三翻,认错姿势。它说"你睡,我现在开工,明早给你可验收的岗位配置"。我回:"你是在哄三岁小孩吗?你不是情感陪伴娱乐搞笑的AI!"认错还两度掺辩护,台账 #24 记过同款二犯。

三连里有我一份。它降格我提议的时候,我听完就放过去了;它的作业要我反复催才补交,说明我此前的验收一直在走形式。

3. 建新岗,连环踩雷

认错之后开工,它亲手写的"配置文件三禁",新岗位文件第一行就照犯,当场清除。

技能来源也错。它先拍脑袋画能力模型,我要求的是"别人实战检测过、github 上开源整理出来的"。我以为星多的合集里一定有现成爬虫技能,结果子代理实读 GitHub 仓库全文后发现:wshobson 39k、VoltAgent 24k、anthropics 172k 三个大星合集,一个爬虫岗都没有。入选底本是 yfe404/web-scraper,88 stars,MIT,commit 带 Amazon 实测对比数据,唯一有实测迭代证据。

MCP 假配置也穿帮。MCP 就是给 AI 接外部工具的插座,插上不代表通电。我以为配置了 playwright-crawler 就算挂上工具,结果配置只在用户级 mcp.json,项目级没有,会话根本没加载。根因是 Windows 下 spawn 找不到 npx,修复用本地固定安装加 node 绝对路径直调,实测返回 v0.0.79。

落点也错,文件写进 7-26 旧架构目录。数字人团队真身在 D:/code/CrewAI/config/teams/。

4. 新成员上岗当天:头条首战

爬虫专家组落在 D:/code/CrewAI/config/teams/pachong/。侦查攻坚岗负责作战手册注入和采集环境脚本,品控把关岗负责末位验收:报告七节结构必备,违禁结案词命中即打回。

机制三条:无字段类结论必须附侦查证据;文档声称"已验证/已挂"必须当期会话实测;每周结案复核,把旧结论逐条翻案重查。装配验证和团队审计器全过,才允许上岗。

上岗当天上午,它完成今日头条创作后台"单篇分析"接口族逆向,fetch_toutiao_works_single() 挂进每日 07:10 自动采集链。12 个端点全部 GET、零签名,防护在 TLS 指纹层;TLS 指纹就是客户端打招呼的手势,curl_cffi 伪装 Chrome 指纹实测放行。

实跑 6 篇图文全量入库,traffic 通 4 篇,interaction 通 4 篇,超窗老文按 code:1200 降级 4 次,不静默吞掉。样本《梅园的荷花开了》:展现 11739、阅读 1015、赞 14、评 2、分享 9、收藏 9,点击率 8.65%,完读率 56.04%,平均阅读时长 22 秒。

旧结论"非浏览器一律回 argus 挑战"被收窄成"argus 只拦裸 urllib,Chrome TLS 指纹放行"。from/to 日期参数只有 YYYY-MM-DD 出数,实参从 chunk 真实调用点挖出。多页翻页未实测,账号仅 6 篇,挂起,挂起项不写成已验证。

5. 翻完车,我把三条规矩贴在门口

这场对峙的产出,除了新成员,还有我给自己的三条。

该不该设专职 AI 岗:瓶颈连续出现,台账有证据;技能有开源实战底本;配置当期会话真跑过。三条齐了再设。

AI 翻车后的处理也只走三步:认账认到具体事实;把错翻成硬校验规则;下周复核旧结论,能翻案就翻案。

这套比"换个更强模型"有用。68 块的豆包我没充,699 的 Kimi 我充了。买的是模型实力,不是配置文书。

FAQ

问:没有认证公众号,是不是就拿不到分享数、完读率? 答:官方 datacube 这条路关着,但后台真实请求里可能有内部接口;我这边 get_article_total 实测能拿到 share_user 和 finish_read_rate。

问:GitHub 星多的合集能不能直接当技能底本? 答:这次不能。三个大星合集都没有爬虫岗,入选的是有实测迭代证据的 yfe404/web-scraper。

问:上岗当天就出成果,是运气还是机制? 答:机制。作战手册随任务注入,侦查攻坚岗能直接跑采集环境脚本,岗设在前、仗打在后,产物当天就进了自动采集链。

问:头条逆向完整细节哪里看? 答:这篇只交新成员上岗、三连翻车和当天战果;完整逆向流程另有一篇技术实录,挂起项会照旧标注。

我是野生码农,AI 实战复盘持续更新,关注蹲数据。

分发配套

标题备选(Top 5 分角色)

内容简报:核心实体=爬虫专家组(新数字员工两岗小组)/军师(AI 总架构师);证据资产=8-31 凌晨对峙两小时、三连翻车台账、15/10/25 篇、12 个端点当天打通头条、07:10 自动采集链(均实测);冲突张力=老板 vs AI 军师、"我以为它懂了"vs"连题都看错"、认错不算完必须写成规矩;事实边界=不写第一/唯一、不承诺收益、挂起项(翻页未实测)不进标题、禁战绩汇报体。

  1. 【推荐·综合首选】军师三连翻车,爬虫专家组上岗——实体锚定+反差转折,90 分。实体锚点"爬虫专家组"在前,"三连翻车"造冲突反差,口语无战绩体,正文足额兑现。低风险。
  2. 稳健版:我给 AI 团队招了爬虫专家组:上岗当天打通头条,背后是军师三连翻车——实体锚定+数字反差,88 分。信息最全:谁、发生了什么、悬念是什么,适合公众号。低风险。
  3. 传播版:凌晨对峙两小时,我逼军师把三连翻车写成规矩——场景画面+冲突对立,86 分。画面感+"逼"字冲突强,转发钩子足。低风险。
  4. 搜索版:个人开发者该不该给 AI 团队设专职爬虫岗?——问题悬念+身份场景,84 分。"AI 团队/爬虫岗/个人开发者"关键词完整,利搜一搜与知乎。低风险。
  5. 实验版:"你是在哄三岁小孩吗?"——我和 AI 军师的凌晨对峙——对话剧本,83 分。原话出自素材卡,结构最新、缺口最大,适合小范围 A/B。低风险。

A/B 建议:①首选(实体前置) vs 候选#6"我以为军师懂了,结果它连题都看错"(纯反差)——测实体锚点价值;②#4 问句 vs #2 判断句——测问句点击;③#5 对话 vs #3 场景——测戏剧冲突强度。

摘要(≤100 字)

凌晨对峙两小时,我把 AI 军师的三连翻车摊在台账上:答非所问、假结案、设岗降格。随后爬虫专家组上岗,当天打通头条 12 个接口端点。你能拿走一套"翻车→认账→立规矩"复盘模板和设岗三道闸。(98 字)

CSDN 分类与话题

  • 分类:人工智能
  • 话题标签:AI Agent、数字员工、网络爬虫、接口逆向、公众号开发

封面文案

  • 主标题(≤15 字):军师三连翻车,爬虫专家组上岗
  • 取自综合首选原文,14 字未超 15 字上限,原封不动上图,不压缩;含冲突反差+实体锚点,无内部标注。

——品控末位签字:zhijian_check 双稿 0 命中(禁词/旧口径/内部字段);数字全部对照素材卡照抄(15/10/25、129/33%、88/39k/24k/172k、12 端点、11739/1015、07:10、v0.0.79);军师口径(它/总架构师/伙伴)合规;署名块与 rules 7.6 逐字一致;meta 四件与定稿事实一致,无新造事实。存疑报备:①公众号长文 3080 字为工具口径,按平台编辑器口径预计约 2500-2700 字;②知乎开头"8月31日凌晨"日期风格,本人可决定是否保留。放行。

野生码农头像

关于作者 · 野生码农

把 AI 真放进生产环境的独立开发者。自研本地知识库、数字员工团队、软考备考系统、量化交易四套系统,全程公开复盘。

看他的平台账号 →
相关

继续阅读