本地知识库检索召回率从 61% 到 89%:三种分块策略的 3000 篇实测

知识库召回率长期卡在 61%,这份研报用 3000 篇真实技术文档把三种分块策略拉到同一评测集上跑。

一、背景与目标

评测集覆盖公众号文章、API 文档、会议纪要三类语料,召回判定用人工标注的 420 条问答对。

二、关键实现

递归分块按标题层级优先切分,语义分块按 embedding 距离切分,固定分块按 512 token 切分,三者同库同参对比。

2.1 核心片段

python eval.py --corpus 3000 --strategy recursive --topk 5
# recall@5 = 0.89

三、复盘与数据

• 递归分块召回率 89% / 固定分块 61% / 语义分块 72%
• 语义分块在长文档上掉点的根因是边界漂移
• 全部评测脚本开源,可一键复跑

真实生产环境记录:不修饰、不美化,保留现场。完整脚本与配置已随文公开,可一键复跑。