多 Agent 编排框架选型争论已久,这份研报用同一内容生产任务在三种编排下各跑 20 轮给出量化结论。
一、背景与目标
任务固定为"800 字技术短文 + 事实核查 + 排版",模型、温度、工具集三者全部锁死。
二、关键实现
CrewAI 走角色流程,AutoGen 走对话协商,自研状态机走显式状态转移,token 按官方计费口径统计。
2.1 核心片段
for run in range(20):
for engine in ['crewai', 'autogen', 'statemachine']:
bench(engine, task='article_800w')
三、复盘与数据
- token 消耗:自研 1.00x / CrewAI 1.61x / AutoGen 2.07x
- 人工接管率:自研 11% / CrewAI 18% / AutoGen 31%
- 交付周期三者差距在 15% 以内
真实生产环境记录:不修饰、不美化,保留现场。完整脚本与配置已随文公开,可一键复跑。
