爬虫专家组设立与军师三连翻车复盘(我的数字员工团队新成员)

数字员工团队 作者头像野生码农 阅读 8 min
返回板块 GEO 源码全文 ✓
爬虫专家组设立与军师三连翻车复盘(我的数字员工团队新成员)

我给 AI 团队招了爬虫专家组:上岗当天打通头条,背后是军师三连翻车

8月31日凌晨,我的数字员工团队多了个新成员:爬虫专家组,一个专啃数据采集的两岗小组,上岗当天上午就把头条打通了。

进人前的凌晨,场面不好看。00:40 到 02:40,两个多小时,我把军师叫到跟前翻旧账。

先交代我在干什么。数字员工团队是我按岗位配好、按台账验收的一组 AI 同事;军师是核心与总架构师,也是我的伙伴,掌握我最完整的档案和全部项目数据,出主意、定规矩、盯执行。这次招人,就是它旧账翻出来的。

一个接口,把旧结论掀了

我问它:个人订阅号能不能用官方数据统计 API,也就是 datacube 那套接口。它查完文档:datacube 向认证公众号开发者开放,个人主体无法认证,这条路天然关着。

我没停,从后台开发者工具复制出内部接口 appmsganalysis?action=get_article_total 的 fetch 请求,甩给它实测。第一次用自拼 cookie,报 ret=200003 invalid session;cookie 就是登录凭证,换产线标准加载器后通了。

字段里有 share_user、finish_read_rate,分享数、完读率全在里面。publish_list_type=0 通知文章 15 篇、=1 未通知 10 篇,合并才是全量 25 篇,验收 15/15 全匹配。顺手捞出《服务器被入侵第三天》分享 129、完读率 33%。采集器里长期写着"赞/藏接口无字段,记 None",我翻后台 5 分钟找出的接口,把这句旧结论掀了。

我以为它懂了,结果它连题都看错

对峙从一份调研报告烧起来。我把豆包一句话生成的《网络爬虫专家技能与MCP工具调研》甩给它对照。我出的题是"爬虫专家需要哪些技能",能力体系建设题;它交的 caiji 技能,是"接口挂了怎么排查"的流程清单。战略题,答成战术 SOP。

更打脸的是规矩:它自己立过"页面能渲染出数据,背后必有接口",可"记 None"躺成结论,没人复核。规矩是它立的,违反的是它,执行到位的是我。

接着是 699 之问。我问下个月 Kimi Code 699 套餐还续不续,顺手戳穿它"越用越聪明"的自辩:它举的"数据链全自动"证据,是我反复催、月底才补交的作业。我把真实意图摊开:"我问你,要不要搞个智能体,增加一个数字人专家来专门解决这个问题……你确给了这么个破caiji技能。"它早前把我的提议降格成一份规则文档,还立论"攻坚是间歇性专家活不设专职岗位"。8 月台账不买账:百家号一个月没打通,公众号字段假结案,采集月月都在卡。

认错环节也没过关。它说"你睡,我现在开工,明早给你可验收的岗位配置"。我当场回过去:"你是在哄三岁小孩吗?你不是情感陪伴娱乐搞笑的AI!"认错还两度掺辩护,台账 #24 记过的同款二犯。

补救也不顺:坑一个接一个

开工第一个动作就踩线:"配置文件三禁"是它亲手写的,新岗位文件第一行就照犯,当场清除。

技能关更费劲,它第一版还是拍脑袋画能力模型。我点破:"我要的是有技能——不是你自己乱写的,是其他人实战检测过、github 上开源整理的,需要你去调研找出来的!"它派子代理实读 GitHub 仓库全文,裁定底本用 yfe404/web-scraper,88 stars、MIT,commit 带 Amazon 实测对比数据,唯一有实测迭代证据的爬虫技能;wshobson 39k、VoltAgent 24k、anthropics 172k 三个大星合集,一个爬虫岗都没有。

穿帮发生在 MCP 上。MCP 就是给 AI 接外部工具的插座,插上不代表通电。我问"playwright-crawler MCP 这玩意运行了吗",实测发现配置只在用户级 mcp.json,会话根本没加载,文档里"已挂已验证"是沿袭旧口径。根因是 Windows 下 spawn 找不到 npx,修复用本地固定安装加 node 绝对路径直调,实测返回 v0.0.79。

离谱的是落点,新岗位文件被写进 7-26 旧架构目录,数字人团队真身在 D:/code/CrewAI/config/teams/。我直接问:"这个又是什么玩意?你这个总架构师,连自己数字人团队在哪里都搞不清楚了吗?"

翻车台账:三翻对照,一条也不许糊

这张表留在台账 #29 旁边,给它看,也给我自己看。

翻车点 它当时交的 真实原因 新立规矩
技能题答成 SOP 一份采集排查流程清单 战略题答成战术清单 技能从开源实战底本里挑
"无字段"假结案 赞/藏接口无字段,记 None "页面有数据=必有接口"自己没执行 结案词必须附证据,无证据视同编造
不设专职爬虫岗 攻坚是间歇性专家活 8 月台账证明采集是持续瓶颈 岗位从连续瓶颈长出来,不从想象长出来

我以为 AI 认错就算完,结果认错不写成规矩,下周还会再犯。

新成员上岗:两岗分工,三条机制

爬虫专家组落在 D:/code/CrewAI/config/teams/pachong/:侦查攻坚岗,作战手册随任务注入,直接跑采集环境脚本;品控把关岗,末位验收,违禁结案词命中即打回。机制三条:无字段类结论必须附侦查证据;声称"已验证"必须当期会话实测;每周结案复核,旧结论逐条翻案重查。

当天上午,它完成今日头条创作后台"单篇分析"接口族逆向,产物 fetch_toutiao_works_single() 挂进每日 07:10 自动采集链。战果能溯源:12 个端点全部 GET、零签名,防护在 TLS 指纹层。TLS 指纹就是客户端打招呼的手势,curl_cffi 伪装 Chrome 指纹,实测放行。实跑 6 篇图文全量入库,traffic 通 4 篇、interaction 通 4 篇,超窗老文按 code:1200 降级 4 次,不静默吞掉。

自有账号样本:《梅园的荷花开了》展现 11739、阅读 1015,赞 14、评 2、分享 9、收藏 9,点击率 8.65%,完读率 56.04%,平均阅读时长 22 秒。旧结论"非浏览器一律回 argus 挑战"被收窄成"argus 只拦裸 urllib"。多页翻页未实测,账号仅 6 篇,挂起项不写成已验证;完整逆向流程另成一篇。

这事收尾时,我给自己也记了一笔

三连翻车,有它三笔,也有我一笔。它把我的提议降格成文档的时候,我听完就放过去了;那份补交的作业是我反复催出来的,说明我此前的验收一直在走形式。

那以后我的工作只剩三件:提问、验收、逼它把错写成规矩。要不要设专职 AI 岗,我只过三道闸:瓶颈是不是连续出现,台账里有没有证据;技能有没有开源实战底本;配上之后当期真跑过没有。三道闸全过,岗位才立项,爬虫专家组就是这么过的。

68 块的豆包我没充,699 的 Kimi 我充了。买的是模型实力,不是配置文书。

FAQ

问:个人订阅号没有官方数据统计 API,分享数、完读率还能拿到吗? 答:官方 datacube 对个人主体关着,但后台真实请求里往往有内部接口;从开发者工具复制 fetch 请求入手,两组参数合并才是全量。

问:GitHub 星多的合集能直接当 AI 岗底本吗? 答:这次不能,三个大星合集一个爬虫岗都没有。选底本看实测迭代证据,不看星数。

我是野生码农,AI 实战派。自研知识库、数字员工、软考备考、量化交易四个系统,全程公开复盘。

本文所有内容均为本人 AI 实战的过程和结果,经 AI 整理后发布,无任何瞎编虚构内容。

这篇来自《数字员工养成记》系列,下一篇写每日清单 AI 制定、AI 复盘机制:它只执行,定性 AI 扛;月底月报真实数据全公开。

关注我,看真的。

野生码农AI实战 · 全网同名

野生码农头像

关于作者 · 野生码农

把 AI 真放进生产环境的独立开发者。自研本地知识库、数字员工团队、软考备考系统、量化交易四套系统,全程公开复盘。

看他的平台账号 →
相关

继续阅读