GEO 与平台收录调研:AI 搜索时代,内容怎么被看见

读者档:内部决策研报 · 2026-09-12 · 3 路并行检索,中英文 12+ 轮递进;平台 robots.txt 当日逐一实抓

研究摘要:GEO(生成式引擎优化)的学术实证、主流 AI 搜索的引用机制、中文内容平台对 AI 爬虫的开放度、自建 BuildAdmin 博客的收录路径。核心判断前置:

1. GEO 不是玄学,但效果被营销口径夸大:原论文最佳策略相对提升 30-41%,但 2026 年批判综述(45 项研究)指出"40%"只是单一策略在固定实验台上的指标变化;端到端实验里只优化正文反而拉低出现率与引用率。两面证据本报告并列给出。
2. 平台分三派:开放派(CSDN/掘金/B站,AI 爬虫默认可爬)、白名单派(知乎,精确封锁 AI 爬虫)、围墙花园派(百家号/公众号/小红书/头条,只喂自家 AI)。依据是 2026-09-12 逐站实抓的 robots.txt,硬证据。
3. 自建博客的硬前提是 SSR:约 5.69 亿次 GPTBot 请求的服务器日志实证——主流 AI 爬虫零 JS 执行,纯前端渲染的页面对 AI 是空白。BuildAdmin 的正解是官方 WebNuxt 工程 + CMS 模块。
4. llms.txt 实证无效,别指望:30 万域名分析与引用频次零相关,四大引擎 10 周请求为零;JSON-LD 是写给 Google 富摘要的,对 AI 引用无显著提升。
5. 分发的价值是品牌提及,不是外链:品牌全网提及与 AI 可见性相关性 0.664,远超外链的 0.218;61.7% 的 AI 引用不产生品牌提及("幽灵引用")。

关键词:GEO · 生成式引擎优化 · AI 搜索 · robots.txt · 知乎 · CSDN · 掘金 · 百家号 · 微信公众号 · BuildAdmin · SSR · llms.txt · JSON-LD · 品牌提及

一、GEO 是什么:概念、实证与反方批判

1.1 概念与学术源头

GEO(Generative Engine Optimization,生成式引擎优化)出自论文《GEO: Generative Engine Optimization》(arXiv:2311.09735),2023-11-16 首发,KDD 2024 正式发表,作者来自 Princeton、IIT Delhi、Georgia Tech、Allen Institute for AI。定义:面向内容创作者的黑盒优化框架,目标是提升内容在生成式引擎回答中的可见度;配套构建了含 10,000 条查询的 GEO-bench 基准。【已核实】来源:GEO 论文, arxiv.org/html/2311.09735, 2024-06-28

与 SEO 的区别:SEO 优化的是搜索引擎结果页的排名位置;GEO 优化的是内容被 AI 答案选中、引用、转述的概率。论文用两类指标度量可见度:Position-Adjusted Word Count(按引用位置加权的词数,下称 PAWC)与 Subjective Impression(含相关性、影响力、独特性、点击可能性等 7 个子维度)。【已核实】来源:arXiv:2311.09735 第 3.4 节

1.2 正方:哪些策略被实证有效

论文测试 9 种优化方法,最有效的三种是 Cite Sources(加引用)、Quotation Addition(加引语)、Statistics Addition(加统计数据),PAWC 指标相对提升 30-40%,最佳方法提升 41%;在真实商用引擎 Perplexity.ai 上验证可见度最高提升 37%。【已核实】来源:同上,第 4 节

两个值得记住的细结论:

• GEO 对低排名网站更有利("民主化效应"):Cite Sources 使 SERP 排名第 5 的网站可见度提升 115.1%,而平均第 1 的网站反而下降 30.3%。
• 关键词堆砌在生成式引擎中失效甚至有害,Perplexity.ai 实验中比不优化还差 10%。
• 策略组合优于单一策略:Fluency Optimization + Statistics Addition 组合比最佳单一策略再高 5.5% 以上,且策略有效性因领域而异。

【已核实】来源:同上,第 5.2/5.3 节、Table 5

1.3 反方:效果有没有被夸大

核心结论(反方证据,必须正面看): 2026-07-15 批判性综述(45 项研究,Olivier Martinez / Sciences Po)指出:营销口径的"40%"实际只是 Quotation Addition 单一策略在固定实验台上 PAWC 指标 19.3→27.2 的相对提升,不能推广为"被检索概率 +40%"或"流量 +40%";没有任何被综述的技术被证明有跨平台、稳定的自然发现度或下游点击/转化效果。来源:PPC Land, ppc.land/survey-of-45-studies-finds-geo-rewrites-can-cut-a-pages-ai-retrieval-16/, 2026-07-20;原文 arxiv.org/html/2607.14035v1, 2026-07-15

更硬的一击来自 SAGEO Arena 端到端实验(171,003 文档、2,700 查询):只优化正文反而使 top-20 出现率降约 9%、重排后 top-10 降 16%、最终引用率降 6%;C-SEO Bench 中 54 种方法-领域组合仅 3 种显著为正。批判综述给出的最可复现杠杆是"查询-文档相关性"和"上下文位置"(252,000 次试验、6 模型、18 因子析因实验),而非通用技巧;可核验证据(日期化数据、定义、价格)有中等优势。【已核实】来源:同上(PPC Land)

图注:原论文口径(+41%/+37%)与批判综述 SAGEO Arena 口径(-9%/-16%/-6%)并列展示,不同研究、不同指标,非同一指标,不可直接互比。

⚠️ 此处手动上传图片:assets/charts/chart-02.png

1.4 排名与被引用正在脱钩

Ahrefs 对 86.3 万 SERP 的分析:仅 38% 的 Google AI Overviews(AIO)引用来自自然搜索 top 10 页面,较一年前的 76% 大幅下降。4,706 查询审计:53% 被 AIO 引用的域名不在自然 top 10,27% 不在 top 100;11,500 查询审计显示自然 Google / AIO / Gemini 三者 URL 重合度仅 0.11-0.18。【已核实】来源:Ahrefs, ahrefs.com/blog/ai-overview-citations-top-10/, 2026-05-31;PPC Land 综述, 2026-07-20

AIO 对流量的挤压有因果证据:1,065 名桌面 Chrome 用户随机实地实验显示 AIO 使出站自然点击减少 39.8%、零点击搜索增加 34.5%;Ahrefs 2026-02 对 30 万关键词的研究发现 AIO 与头部页面 CTR 下降 58% 相关。Google 官方立场:为生成式 AI 搜索做优化本质仍是 SEO(Google 搜索副总裁对 CMO 表态)。【已核实】来源:同上(综述引述)

核心结论: GEO 有真实学术底座,加引用、加数据、加引语这类"证据密度"写法值得固化进写作规范;但别信"+40%"营销话术,真实收益是"中等优势"级别,且只在真实检索链路里才作数。关键词堆砌路线彻底放弃。内容规范应以"证据密度+相关性"为纲,不以"引擎技巧"为纲。

二、AI 搜索怎么选引用来源:引用机制与 AI 爬虫体系

2.1 主流产品各自怎么选源

• ChatGPT 有两条来源路径:参数化记忆(训练数据,无检索无链接、幻觉风险高)与联网检索(依赖 Bing 索引 + OAI-SearchBot 自建索引,产生带链接的内联引用)。OpenAI 官方确认:OAI-SearchBot 负责让网站出现在 ChatGPT 搜索答案中,被 Disallow 的网站不出现;robots.txt 变更约 24 小时生效。【已核实】来源:ziptie.dev/blog/how-does-chatgpt-choose-its-sources/, 2026-09-06;OpenAI Platform Docs: Bots(2026-09-12 抓取核实)
• Perplexity 为 RAG 管线:混合检索取 5-10 个候选源、重排后由 LLM 生成带内联编号的答案,每条答案通常 5-15 条引用(多于 ChatGPT 和 Google AIO),时效性(发布时间元数据 / schema 日期)权重很高。【已核实】来源:ziptie.dev/blog/how-perplexity-ai-answers-work/, 2026-09-06;authoritytech.io/blog/why-perplexity-cites-some-sources-and-ignores-others-2026, 2026-09-07
• Google AIO 最常被引域名集中在 Wikipedia、YouTube、Google 自有资产、Reddit、Amazon,合计约占 38% 引用量;Surfer 基于 2025 年 3-8 月 4,600 万条引用佐证域名集中度。AIO 触发率高度依赖查询类型:55,393 条趋势查询 40 天研究整体触发率 13.7%,疑问句式查询达 64.7%。【已核实】来源:thedigitalbloom.com/learn/google-ai-overviews-top-cited-domains-2025/, 2026-07-26;surferseo.com/blog/ai-citation-report/, 2025-10-27;PPC Land 综述, 2026-07-20
• 跨平台引用偏好差异巨大:89,000 条 LinkedIn URL 研究显示 Perplexity 59% 引用公司主页,而 ChatGPT Search 和 Google AI Mode 59% 引用个人创作者——不存在统一"排名"可优化。【已核实】来源:同上(PPC Land)
• 中文平台实测(第三方,非官方):豆包优先引用 CSDN、头条、搜狐、知乎(字节生态);Kimi 偏好知乎;腾讯元宝偏腾讯系/公众号;文心一言偏百家号。【已核实】来源:腾讯云开发者社区 200 行业词实测, cloud.tencent.com/developer/article/2733160, 2026-08-27;白杨SEO, baiyangseo.com/blog/1096.html, 2025-03-18

证据等级提示: DeepSeek、Kimi、豆包、百度AI搜索均无官方公开文档说明引用来源排序机制;现有中文资料均为第三方实测/推测,证据等级低于 OpenAI/Perplexity 官方文档。【未核实】引用来源还会波动:temperature=0 下重复运行仍有 9-28% 决策变化;某配置下 57.8% 的 ChatGPT 重复查询未触发联网检索。来源:PPC Land 综述;DeepGEO, deep-geo.cn/ai-search/doubao-deepseek-citation-source-volatility.html, 2025-12-03

2.2 AI 爬虫体系:训练、检索、用户触发三条通道

OpenAI 四类 UA 分工明确:GPTBot=训练;OAI-SearchBot=搜索索引;ChatGPT-User=用户触发的实时访问(robots 规则可能不适用);OAI-AdsBot=广告校验。屏蔽训练与保留搜索曝光可以独立配置。Anthropic 对应 ClaudeBot(训练/检索)+ Claude-User;Perplexity 为 PerplexityBot。行业通行三分类:训练爬虫(屏蔽=保护 IP)、检索爬虫(屏蔽=从 AI 搜索消失)、用户行为抓取器(高引荐价值)。【已核实】来源:OpenAI Platform Docs(2026-09-12 核实);marketing.chat/guias/geo-generative-engine-optimization, 2026-04-21

Bytespider=字节跳动爬虫,2024-04 上线,为豆包/头条搜索收集数据;多方报告其抓取激进且曾不遵守 robots.txt;Cloudflare 数据显示其 AI 爬取份额从 2024-07 的 14.1% 降至 2025-07 的 2.4%,2026-05 回升至 10%+;要确保屏蔽须 WAF/日志验证。【已核实】来源:ppc.land/bytespider/, 2026-08-24;datadome.co/bots/bytespider/, 2025-06-24

屏蔽率统计(口径不同,并列展示):Cloudflare 2026-07——top 10,000 域名仅 37% 有 robots.txt,其中显式 Disallow GPTBot 仅 7.8%;Zyte 测全球最受欢迎站点"有效屏蔽率"39.9%;Otterly 2025 发现 73% B2B 网站因配置错误屏蔽了至少一个主要 AI 爬虫。【已核实】来源:blog.cloudflare.com/control-content-use-for-ai-training/, 2026-07-15;zyte.com/blog/robots-txt-ai-crawlers/, 2026-09-07;authoricy.com/blog/ai-seo-mistakes-b2b, 2026-07-11

爬取与引荐严重不对称(Cloudflare 2025 中):训练目的约占 AI 爬取 80%;Anthropic 每引荐 1 个访客爬取约 38,065 页,OpenAI 约 1,700:1。robots.txt 本质是君子协议:Cloudflare 对 47 个英国站点测试发现 72% 站点存在 AI 爬虫违反 robots 行为(三周平均每站 156 次违规);Cloudflare 2025-07 起对新域名默认封禁 AI 爬虫并推出 Pay Per Crawl(HTTP 402)。【已核实】来源:blog.cloudflare.com/crawlers-click-ai-bots-training/, 2025-08-29;blog.cuixu.cn/posts/web-defense-against-ai-agents-and-bots/, 2026-06-17

百度系爬虫针对 AI 搜索的独立 UA 与训练/检索分离策略,未找到百度官方文档级公开说明。【未核实】

核心结论: 被 AI 引用有三道门:先被检索爬虫看见(robots 放行 + SSR),再被选进候选集(相关性与时效),最后被写进答案(证据密度)。robots.txt 上要放行的不是 GPTBot(训练),而是 OAI-SearchBot / PerplexityBot 这类检索爬虫——屏蔽训练、保留曝光是主流 B2B 默认配置。对中文 AI 的引用机制不要做任何"官方承诺"式假设,全部按第三方实测对待并标注证据等级。

三、平台盘点:robots.txt 实抓、AI 引用实证与传统 SEO

3.1 robots.txt 逐站实抓(2026-09-12,硬证据)

以下全部为 2026-09-12 当日逐站抓取的 robots.txt 原文判读,是本报告证据等级最高的一节。

核心结论: 开放派(CSDN/掘金/B站/博客园/SegmentFault/简书)AI 爬虫默认可爬;知乎是唯一精确封锁 AI 爬虫的白名单派;百家号/公众号/小红书/头条只喂自家 AI。来源:各站 robots.txt,2026-09-12 逐一抓取。

图注:各平台 robots.txt 对 AI 爬虫开放度三档评分(可爬/受限/封闭),2026-09-12 实抓,实测数据。

⚠️ 此处手动上传图片:assets/charts/chart-01.png

3.2 三派分类(本报告核心框架)

• 开放派(CSDN · 掘金 · B站 · 博客园 · SegmentFault · 简书):不设 AI 爬虫防线,谁都能索引。对分发方最友好:发出去的内容天然进入 GPTBot/PerplexityBot/Bytespider 视野,是 GEO 分发的主阵地。
• 白名单派(知乎):精确到 UA 的放行清单:传统搜索引擎可爬,GPTBot/ClaudeBot/Bytespider 全拒,连 Google AI 训练(Google-Extended)都单独屏蔽。知乎内容进 AI 答案靠的是 Kimi 等合作通道与训练数据存量,不是爬虫自由抓取。
• 围墙花园派(百家号 · 公众号 · 小红书 · 头条号):对外部搜索引擎和 AI 爬虫一律关闭,内容只喂自家 AI(文心一言/微信元宝/小红书自家搜索/豆包)。发这些平台=买它一家的 AI 入口,买不了别家的。

3.3 跨平台 AI 引用实证

Semrush 13 周研究(23 万 prompts、1 亿+ 引用):Reddit、Wikipedia 是 ChatGPT 前两大引用域;2025-09 ChatGPT 对 Reddit 引用率两周内从约 60% 崩到约 10%,Wikipedia 从约 55% 跌到 20% 以下——AI 引用份额高度不稳定。【已核实】来源:semrush.com/blog/most-cited-domains-ai/, 2025-11-10

Ahrefs 数据(二手转引,未核对原文):Google AIO 引用份额 YouTube 45.35%、Reddit 20.97%、LinkedIn 5.58%、Quora 2.42%。Otterly.ai 2026 报告:社区平台(Reddit/Quora)占 AI 引用 52.5%,品牌官网 47.5%;61.7% 的 AI 引用不产生品牌提及("幽灵引用")。英文主流研究被引域名榜单均为 Reddit/Wikipedia/YouTube/Quora/LinkedIn,知乎、CSDN 等中文站基本不进入英文 AI 引擎头部引用榜。【已核实】来源:titanblue.com.au/how-to-get-cited-google-ai-overviews/, 2026-09-03(转引);otterly.ai/blog/the-ai-citations-report-2026/, 2026-02-01

中文侧从业者实测(定性观察,非严格统计):Kimi 早期约 70% 引用为 UGC、其中知乎占比很大;豆包优先字节系(抖音/头条);腾讯元宝/微信搜一搜引用中公众号占比约 50%;DeepSeek 无自家生态,引淘宝/百度百科/网易等外部源。【已核实】来源:搜狐, sohu.com/a/898268909_364521, 2025-05-24;seogs.cn/tools/ShowArticle.asp?ArticleID=13381, 2026-06-28

中文 GEO 对照综述:CNNIC 第 57 次报告截至 2025-12 中国生成式 AI 用户 6.02 亿;QuestMobile 2026-06 月活:豆包 3.82 亿、通义千问 1.67 亿、DeepSeek 1.30 亿;Kimi 已从"约七成知乎 UGC"转向搜狐等媒体源;元宝企鹅号内容环比翻倍。绵羊GEO 汇总多监测工具:AI 平台引用来源中垂直站占 38.06%、门户与自媒体平台 7.27%、视频平台 4.79%(民间汇总,样本方法未公开,谨慎引用)。【已核实】来源:aigcmkt.com/zh/chinese-ai-search-geo-comparison.html, 2026-09-11;sheepyc.com/thread-691-1-1.html, 2026-03-24

数字保质期警告: AI 引用份额本身剧烈波动(Reddit 两周 60%→10%),任何"某平台占 AI 引用 X%"的数字都有保质期,引用时必须带日期。来源:Semrush, 2025-11-10

3.4 传统 SEO 实力与平台亲缘

IT 类关键词自然排名:博客园、CSDN、简书、知乎、SegmentFault 靠前,掘金约第 10 且差距明显(掘金社区 2021 自评,数据偏旧)。CSDN 为 SSR 服务端渲染、SEO 做得最好的说法仅有用户评论级证据。【未核实·弱来源】来源:juejin.cn/post/7034015069826449445, 2021-11-23;blog.csdn.net/Mmdapl/article/details/108686131, 2020-09-19

百家号亲缘优势实证:2019 年《搜索引擎百度已死》事件,百度官方回应"百家号内容全站占比小于 10%"——反向证实百度给百家号导流是官方承认事实。百度AI搜索/文心一言信源依托百度搜索+百科等自有资源,从业者实测"做百度AI搜索主要做百家号、百科"。【已核实】来源:人民网, finance.people.com.cn/n1/2019/0124/c1004-30588101.html, 2019-01-24;xinyumedia.com.cn/geo/2709.html, 2026-08-31

微信公众号的外部搜索可见性史:百度明确回应"不能检索微信公众号内容"(2021);2021-10 谷歌/必应一度能搜到系"robots 协议漏洞",腾讯修复后关闭;搜狗微信搜索 2019 年合作到期收缩——目前公众号文章几乎唯一入口是微信搜一搜。知乎登录墙对百度收录的量化影响,未检到公开实证。【未核实】来源:new.qq.com/rain/a/20211022A0BU8900, 2021-10-22;ifanr.com/minapp/1179723, 2019-02-28

核心结论: 分发矩阵按三派定角色:开放派(CSDN/掘金/B站)是 AI 可见度主阵地,优先发;知乎进 AI 答案靠合作通道,照发但别指望爬虫;围墙花园派(公众号/百家号/头条)买的是自家 AI 入口,按"一个平台=一个 AI 入口"逐个算账,不当作通用分发。

四、平台机制拆解:头部平台技术上怎么做的

头部平台对"被机器看见"这件事走出了三条技术路线,正好对应第三章的三派分类。

• 路线一:SSR 服务端渲染(代表:知乎 Tardis、CSDN)。服务器直接吐出完整 HTML,爬虫零 JS 执行也能读到正文。知乎 robots.txt 里单独放行的 /tardis/jm 就是其 SSR 渲染服务 Tardis 的路径——白名单派照样要为放行的爬虫备好 SSR 通道。这是被引用能力的技术底座。
• 路线二:sitemap 主动暴露(代表:掘金 9 个 sitemap、博客园)。把内容清单以 sitemap 形式公开,爬虫不用猜 URL。掘金公开 posts/user/news/columns/tag/pin 等 9 个 sitemap,是开放派里"暴露面"做得最系统的;CSDN 反而没有 sitemap 声明,靠站点权重与抓取频次硬扛。
• 路线三:围墙花园 walled garden(代表:百家号、公众号、小红书、头条号)。技术上不做开放索引,内容通过自有搜索/自有 AI 闭环变现:公众号几乎唯一入口是微信搜一搜,头条详情页关给所有外部爬虫但走字节自己的对接通道喂豆包。这条路线的 GEO 逻辑是"选边站",不是"被看见"。

核心结论: 三条路线对自建博客的启示是直接的:想被外部 AI 看见,SSR+sitemap 是必修课,没有第三条捷径;围墙花园路线需要自有流量与自有 AI,自建站点不具备这个条件,不用考虑。

五、自建 BuildAdmin 博客的 GEO/SEO 落地清单

5.1 SPA 收录问题:SSR 是硬前提,不是优化项

纯 CSR 的 Vue SPA 首屏 HTML 为空壳,传统爬虫只能解析静态 HTML,收录结果是空白页。百度有渲染抓取 UA Baiduspider-render/2.0,官方公告"需要访问网站的 CSS、Javascript 和图片信息以精准理解页面"(2017 口径,此后未更新);业界实测共识是百度 JS 渲染能力有限,SPA 必须做 SSR / 预渲染 / 动态渲染(二手行业口径,无百度官方能力边界文档)。【已核实】来源:cloud.tencent.com/developer/article/1674392, 2020-08-05;segmentfault.com/a/1190000046898683, 2025-07-18;ziyuan.baidu.com/wiki/990, 2017-03-24;jnbpower.com/news/668925.html, 2026-08-27;zixueya.com/riji/1712.html, 2025-04-11

核心结论(AI 爬虫零 JS 执行,实证): Vercel+MERJ 服务器日志研究(2024-12-17,约 5.69 亿次 GPTBot 请求 + 3.7 亿次 ClaudeBot 请求):GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、Meta-ExternalAgent、Bytespider、CCBot 均不执行 JS;例外是 Gemini(走 Googlebot 渲染管线)和 AppleBot;2026 年复测确认行为未变。对 AI 搜索而言,没有 SSR 的页面就是不存在。来源:vercel.com/blog/the-rise-of-the-ai-crawler;复测汇总 digitortoise.com/js-content-ai-parseability/, 2026-09-08

三路线对比:SSR(Nuxt)效果最好但开发/服务器成本高;SSG 构建快但动态路由受限;预渲染(prerender-spa-plugin)适合页面少的站点。【已核实】来源:腾讯云, 2020-08-05;Vue 官方文档 cn.vuejs.org/guide/scaling-up/ssr

5.2 BuildAdmin 的正解:官方 WebNuxt + CMS 模块

BuildAdmin 官方提供 build-admin-nuxt(WebNuxt)工程:Nuxt SSR 版本,"只含会员前台,不含管理员后台,用于满足完整的 SEO 需求",官方明确建议有 SEO 需求的站点前台开发全部基于 WebNuxt。官方另有基于 BuildAdmin+Nuxt+UniApp 的 CMS 模块:预设新闻/产品/下载内容模型,内容、频道、标签均可单独设置 SEO 关键词与描述,多详情模板、响应式。社区未检索到"BuildAdmin 博客 SEO 改造"的成体系第三方教程。【未核实】来源:doc.buildadmin.com/senior/nuxt/intro.html, 2024-08-07;github.com/build-admin/build-admin-nuxt;doc.buildadmin.com/md/cms, 2025-04-11

5.3 推送通道:百度 API + Bing IndexNow

sitemap 提交 + API 主动推送是百度官方两大发现渠道;主动推送是普通收录中最快方式,官方建议当天新链接立即推送,配额按站点质量分配。自动推送 JS 代码 2020-03 暂停、2020-09 恢复(仅限已关联主体)、2020-12 入口再下线——2026 年不要再依赖自动推送 JS,以 API 推送为准。"快速收录"已升级为权益制(绑定百度智能小程序+URL 替换规则等),2024-05 起部分站点更名"快速抓取"(二手站长圈口径)。【已核实】来源:ziyuan.baidu.com/college/articleinfo?id=3329, 2021-11-05;ziyuan.baidu.com/college/courseinfo?id=267&page=2, 2024-06-17;sohu.com/a/437662854_114774, 2020-12-11;ainiseo.com/jishu/37906.html, 2025-05-09

Bing IndexNow:生成 API key、key.txt 放根目录、POST 到 api.indexnow.org/indexnow;Bing/Yandex/Seznam/Naver 支持,免费。"IndexNow 对 ChatGPT 检索有间接价值(ChatGPT 联网搜索部分依赖 Bing 索引)"是行业普遍说法,OpenAI 未官方确认。【未核实】来源:bing.com/indexnow/getstarted(Bing 官方)

5.4 llms.txt:实证基本负面,别指望

llms.txt 由 Jeremy Howard(fast.ai/Answer.AI)2024-09-03 提出:根目录 Markdown 文件,H1 站点名 + 可选摘要 blockquote + H2 分节带注释链接列表;社区提案,非 W3C/IETF 标准。采用量:BuiltWith 追踪到 2025-11 约 844,000 站点部署;Anthropic、Stripe、Cursor、Cloudflare 等有实际样例。【已核实】来源:socialvik.com/blog/answer-engine-optimization-guide-2026, 2026-08-02;codersera.com/blog/llms-txt-complete-guide-2026/amp/, 2026-05-09;madeforbuilders.com/en-GB/glossary/llms-txt/, 2026-05-27

核心结论: 声称 llms.txt 提升 AI 引用率的正面实证研究,未找到任何经同行评议或大样本验证的支持性证据【未核实】;自建博客不做 llms.txt,或只在其面向 agent 的文档站场景做。来源:seranking.com/blog/llms-txt/, 2025-11-07;searchenginejournal.com/llms-txt-shows-no-clear-effect-on-ai-citations-based-on-300k-domains/561542/, 2025-11-20;ppc.land/llms-txt-adoption-stalls-as-major-ai-platforms-ignore-proposed-standard/, 2025-07-02;wpconsults.com/does-llms-txt-work-for-seo/, 2026-07-31

5.5 JSON-LD:写给 Google 富摘要,不是写给 AI

Ahrefs 对照实验:1,885 个新增 JSON-LD schema 页面 vs 4,000 对照页,AI 引用量几乎无变化;只存在于 FAQ schema 里的事实,无一引擎能检索到——schema 对 AI 引用无显著提升,但对 Google 富摘要仍有价值。【已核实】来源:ahrefs.com/blog/schema-ai-citations/, 2026-06-09;ranksage.com/blog/structured-data-audit-schema-ai-citations, 2026-08-17

5.6 其余技术项:CWV、canonical、robots 配置、UA 识别

Core Web Vitals(LCP<2.5s、INP<200ms、CLS<0.1)是 Google 官方确认的页面体验排名信号;影响幅度为"同内容质量下的决胜信号",208K 站点研究显示好 CWV 约带来 10-15% 页面体验信号改善。canonical 用于合并重复内容权重;误用高发(全站指向首页、指向 301/HTTP 版本)。【已核实】来源:debugbear.com/docs/core-web-vitals-ranking-factor, 2026-08-31;increv.co/academy/core-web-vitals-study/, 2025-11-02;blog.moewah.com/posts/duplicate-content-canonical-mistakes/, 2026-03-12

屏蔽 GPTBot 不影响 ChatGPT 引用(引用走 OAI-SearchBot);"放行引用、拒绝训练"是 B2B 主流默认配置。国内平台 UA:豆包/字节=Bytespider(另有口径称 Doubaobot);Kimi=KimiBot/Moonshot 系;DeepSeek 无公开可核验的官方爬虫 UA;封 Bytespider 挡不住豆包从头条搜索/字节生态取内容。【已核实】来源:geo.tenten.co/zh-CN/blog/control-ai-crawlers-robots-txt, 2026-07-20;maxaeo.cn/blog/doubao-kimi-deepseek-crawler-ua/, 2026-08-30;maxaeo.cn/blog/ai-crawler-robots/, 2026-06-29

5.7 内容写法:优化单元是"小节"不是"页面"

Semrush 2026-01 研究(30 万+ 被 LLM 引用 URL):清晰与摘要化写作 +32.83%,E-E-A-T 信号与被引用正相关;AI 按"段落级"而非"页面级"检索引用——优化单元是小节。落地结构共识:问答式标题、结论/摘要前置、FAQ 小节、参数表格、作者与日期署名(author / datePublished / dateModified)。【已核实】来源:jonchanseo.com/answer-engine-optimization/, 2026-07-11;newgalaxyai.com/zh/info/geo-ai-recommendation-7-stages-guide, 2026-08-19(服务商口径,方向与 Princeton/Semrush 实证一致)

多平台分发的工程配套:知乎/CSDN 不支持指向外站的 canonical(社区共识,官方文档未核实),多平台分发工具(如 OpenWrite)生态成熟;百度原"原创保护"依附熊掌号体系,熊掌号/MIP 已于 2020 年下线,现行有效替代=主动推送 API 抢首发时间戳,当前是否有新版原创权益未核实。【未核实】来源:gzhijing.com/m/html/news/2020-11-23/1681.html, 2020-11-23;社区共识

核心结论: 自建博客清单按优先级排序:① SSR(WebNuxt+CMS 模块,官方现成,不造轮子);② sitemap + 百度 API 主动推送 + Bing IndexNow;③ robots.txt 按"放行检索爬虫、按需屏蔽训练爬虫"配置;④ CWV 达标、canonical 防误用;⑤ 内容按小节级证据密度写;⑥ llms.txt 不做,JSON-LD 只为 Google 富摘要做。

六、对本项目意味着什么:综合判断

本项目语境:用 BuildAdmin 自建 GEO 博客 + 多平台分发。综合前五章证据,落到五个判断。

• 判断一:GEO 不是玄学,但按"中等优势"而非"40%"定预期。 原论文与批判综述两面证据并存(第一章)。写作规范固化"加引用、加数据、加引语、日期化证据",但不把任何 GEO 技巧当增长主引擎。
• 判断二:分发矩阵按三派配置,预算向开放派倾斜。 开放派(CSDN/掘金/B站)内容天然进入所有 AI 爬虫视野;知乎靠合作通道进 Kimi 等答案,照发;围墙花园派各买各家 AI 入口——公众号买元宝/搜一搜,百家号买文心,头条买豆包(第三章实抓)。
• 判断三:自建博客先做 SSR,其余都是第二优先级。 AI 爬虫零 JS 执行是 5.69 亿次请求级的实证;BuildAdmin 官方 WebNuxt 工程 + CMS 模块就是正解,自建 SEO 改造不成体系、不必自研(第五章)。
• 判断四:llms.txt 不做,JSON-LD 降级为 Google 富摘要工具。 30 万域名零相关、四大引擎 10 周零请求;JSON-LD 的 1,885 页对照实验对 AI 引用几乎无影响(第五章)。
• 判断五:分发的核心价值是品牌提及,不是外链,也不是直接流量。 Ahrefs 75,000 品牌研究(2025-08):品牌全网提及与 AI 可见性相关性 0.664,远超外链的 0.218。同时正视"白嫖不带流量"的实证:61.7% 的 AI 引用不产生品牌提及(幽灵引用),零点击搜索导致"排名没掉、流量没了"——所以内容里必须主动植入可识别的品牌/署名信号,否则被引用也等于没被引用。【已核实】来源:omnibound.ai/blog/generative-engine-optimization-statistics, 2026-05-07(转引);otterly.ai/blog/the-ai-citations-report-2026/;blog.moewah.com/posts/zero-click-search-ai-overviews-strategy/, 2026-04-19

七、结语

AI 搜索时代的"被看见"拆成三层:技术可达(SSR+sitemap+robots 放行检索爬虫)、内容可选(相关性、时效、小节级证据密度)、价值可回(品牌提及植入,防幽灵引用)。平台侧按三派配置分发矩阵,自建侧按官方 WebNuxt 路线落地,llms.txt 之类社区提案不投入。所有 AI 引用份额类数字带日期引用,默认 3-6 个月过期重测。

素材缺口备忘:各平台 JSON-LD/结构化数据的逐页验证未做;知乎登录墙对收录的量化影响无公开实证;中文 AI 平台引用机制全部来自第三方实测,无官方文档,证据等级低;百度系 AI 爬虫 UA 官方说明缺失。

参考文献

1. GEO 原论文(Princeton 等,KDD 2024),2024-06-28。https://arxiv.org/html/2311.09735
2. PPC Land:45 项研究综述报道(GEO 反方证据汇总),2026-07-20。https://ppc.land/survey-of-45-studies-finds-geo-rewrites-can-cut-a-pages-ai-retrieval-16/(原文 https://arxiv.org/html/2607.14035v1,2026-07-15)
3. Ahrefs:AI Overviews 引用与自然 top 10 脱钩分析,2026-05-31。https://ahrefs.com/blog/ai-overview-citations-top-10/
4. ZipTie:ChatGPT 来源选择机制,2026-09-06。https://ziptie.dev/blog/how-does-chatgpt-choose-its-sources/
5. OpenAI 官方爬虫文档(2026-09-12 核实)。https://platform.openai.com/docs/bots
6. ZipTie:Perplexity 答案生成机制,2026-09-06。https://ziptie.dev/blog/how-perplexity-ai-answers-work/
7. AuthorityTech:Perplexity 引用偏好,2026-09-07。https://authoritytech.io/blog/why-perplexity-cites-some-sources-and-ignores-others-2026
8. The Digital Bloom:Google AIO 高引域名,2026-07-26。https://thedigitalbloom.com/learn/google-ai-overviews-top-cited-domains-2025/
9. Surfer:AI 引用报告(4,600 万条引用),2025-10-27。https://surferseo.com/blog/ai-citation-report/
10. 腾讯云开发者社区:中文 AI 平台引用源 200 行业词实测,2026-08-27。https://cloud.tencent.com/developer/article/2733160
11. 白杨SEO:中文 AI 搜索引用偏好,2025-03-18。https://www.baiyangseo.com/blog/1096.html
12. DeepGEO:豆包/DeepSeek 引用源波动,2025-12-03。https://deep-geo.cn/ai-search/doubao-deepseek-citation-source-volatility.html
13. Marketing.chat:GEO 指南与 AI 爬虫三分类,2026-04-21。https://marketing.chat/guias/geo-generative-engine-optimization
14. PPC Land:Bytespider 档案,2026-08-24。https://ppc.land/bytespider/
15. DataDome:Bytespider 行为分析,2025-06-24。https://datadome.co/bots/bytespider/
16. Cloudflare:AI 训练内容控制,2026-07-15。https://blog.cloudflare.com/control-content-use-for-ai-training/
17. Zyte:robots.txt 与 AI 爬虫,2026-09-07。https://www.zyte.com/blog/robots-txt-ai-crawlers/
18. Authoricy:B2B 网站 AI SEO 错误,2026-07-11。https://authoricy.com/blog/ai-seo-mistakes-b2b
19. Cloudflare:AI 爬虫爬取/引荐不对称,2025-08-29。https://blog.cloudflare.com/crawlers-click-ai-bots-training/
20. 崔旭博客:Web 对 AI 爬虫的防御,2026-06-17。https://blog.cuixu.cn/posts/web-defense-against-ai-agents-and-bots/
21. SocialVik:AEO 指南(llms.txt 起源),2026-08-02。https://www.socialvik.com/blog/answer-engine-optimization-guide-2026
22. Codersera:llms.txt 完全指南,2026-05-09。https://codersera.com/blog/llms-txt-complete-guide-2026/amp/
23. Made for Builders:llms.txt 术语(采用量与 10 周实验),2026-05-27。https://madeforbuilders.com/en-GB/glossary/llms-txt/
24. SE Ranking:llms.txt 30 万域名分析,2025-11-07。https://seranking.com/blog/llms-txt/
25. Search Engine Journal:llms.txt 与 AI 引用无明确效果,2025-11-20。https://www.searchenginejournal.com/llms-txt-shows-no-clear-effect-on-ai-citations-based-on-300k-domains/561542/
26. PPC Land:llms.txt 采用停滞,2025-07-02。https://ppc.land/llms-txt-adoption-stalls-as-major-ai-platforms-ignore-proposed-standard/
27. claude-seo 仓:llms.txt 证据汇总(最后核验 2026-06-21)。https://github.com/AgriciDaniel/claude-seo/blob/main/skills/seo-geo/references/llmstxt-evidence.md
28. WPConsults:llms.txt 对 SEO 是否有效,2026-07-31。https://www.wpconsults.com/does-llms-txt-work-for-seo/
29. 各平台 robots.txt(知乎/CSDN/掘金/百家号/微信公众号/小红书/头条/B站/SegmentFault/博客园/简书),2026-09-12 逐一实抓。https://www.zhihu.com/robots.txt 等
30. Semrush:AI 最常被引域名(23 万 prompts、1 亿+ 引用),2025-11-10。https://www.semrush.com/blog/most-cited-domains-ai/
31. Titan Blue:Google AIO 被引方法(Ahrefs 数据转引),2026-09-03。https://titanblue.com.au/how-to-get-cited-google-ai-overviews/
32. Otterly.ai:AI 引用报告 2026(幽灵引用 61.7%),2026-02-01。https://otterly.ai/blog/the-ai-citations-report-2026/
33. 搜狐:中文 AI 搜索引用实测,2025-05-24。http://sohu.com/a/898268909_364521
34. SEO 公式社:中文 AI 引用观察,2026-06-28。http://www.seogs.cn/tools/ShowArticle.asp?ArticleID=13381
35. AIGC MKT:中文 AI 搜索 GEO 对照综述(CNNIC/QuestMobile 数据),2026-09-11。https://www.aigcmkt.com/zh/chinese-ai-search-geo-comparison.html
36. 绵羊GEO:AI 平台引用来源民间汇总(谨慎引用),2026-03-24。http://www.sheepyc.com/thread-691-1-1.html
37. 掘金社区:IT 类关键词自然排名自评(数据偏旧),2021-11-23。https://juejin.cn/post/7034015069826449445
38. CSDN 用户评论级证据(弱来源),2020-09-19。https://blog.csdn.net/Mmdapl/article/details/108686131
39. 人民网:《搜索引擎百度已死》事件百度官方回应,2019-01-24。http://finance.people.com.cn/n1/2019/0124/c1004-30588101.html
40. 新雨传媒:百度AI搜索信源实操,2026-08-31。https://www.xinyumedia.com.cn/geo/2709.html
41. 腾讯新闻:百度回应不能检索微信公众号内容,2021-10-22。https://new.qq.com/rain/a/20211022A0BU8900
42. ifanr:搜狗微信搜索合作收缩,2019-02-28。https://www.ifanr.com/minapp/1179723
43. 腾讯云:Vue SPA 收录问题,2020-08-05。https://cloud.tencent.com/developer/article/1674392
44. SegmentFault:SPA 的 SEO 方案,2025-07-18。https://segmentfault.com/a/1190000046898683
45. 百度搜索资源平台:渲染抓取公告,2017-03-24。https://ziyuan.baidu.com/wiki/990
46. 济南动力:百度 JS 渲染能力实测口径,2026-08-27。https://www.jnbpower.com/news/668925.html
47. 自学鸭:SPA 收录实操,2025-04-11。https://www.zixueya.com/riji/1712.html
48. Vue 官方文档:SSR 指南。https://cn.vuejs.org/guide/scaling-up/ssr
49. Vercel+MERJ:AI 爬虫兴起(零 JS 执行实证)。https://vercel.com/blog/the-rise-of-the-ai-crawler
50. Digitortoise:2026 年 AI 爬虫 JS 执行复测,2026-09-08。https://digitortoise.com/js-content-ai-parseability/
51. Ahrefs:schema 与 AI 引用对照实验,2026-06-09。https://ahrefs.com/blog/schema-ai-citations/
52. RankSage:结构化数据审计,2026-08-17。https://www.ranksage.com/blog/structured-data-audit-schema-ai-citations
53. 百度搜索资源平台:sitemap 与主动推送,2021-11-05。https://ziyuan.baidu.com/college/articleinfo?id=3329
54. 百度搜索资源平台:收录课程,2024-06-17。https://ziyuan.baidu.com/college/courseinfo?id=267&page=2
55. 搜狐:百度自动推送 JS 入口变迁,2020-12-11。https://www.sohu.com/a/437662854_114774
56. 艾妮SEO:快速收录权益制,2025-05-09。https://www.ainiseo.com/jishu/37906.html
57. Bing 官方:IndexNow 快速上手。https://www.bing.com/indexnow/getstarted
58. DebugBear:CWV 排名因子,2026-08-31。https://www.debugbear.com/docs/core-web-vitals-ranking-factor
59. Increv:CWV 研究(208K 站点),2025-11-02。https://increv.co/academy/core-web-vitals-study/
60. moewah:canonical 误用,2026-03-12。https://blog.moewah.com/posts/duplicate-content-canonical-mistakes/
61. tenten:AI 爬虫 robots 控制,2026-07-20。https://geo.tenten.co/zh-CN/blog/control-ai-crawlers-robots-txt
62. MaxAEO:国内 AI 爬虫 UA(豆包/Kimi/DeepSeek),2026-08-30。https://maxaeo.cn/blog/doubao-kimi-deepseek-crawler-ua/
63. MaxAEO:AI 爬虫 robots 配置,2026-06-29。https://maxaeo.cn/blog/ai-crawler-robots/
64. Jon Chan SEO:答案引擎优化(段落级检索),2026-07-11。https://jonchanseo.com/answer-engine-optimization/
65. Omnibound:GEO 统计(Ahrefs 75,000 品牌研究转引),2026-05-07。https://www.omnibound.ai/blog/generative-engine-optimization-statistics
66. NewGalaxyAI:GEO 七阶段指南(服务商口径),2026-08-19。https://www.newgalaxyai.com/zh/info/geo-ai-recommendation-7-stages-guide
67. moewah:零点击搜索与 AIO 策略,2026-04-19。https://blog.moewah.com/posts/zero-click-search-ai-overviews-strategy/
68. 站长之家:熊掌号/MIP 下线,2020-11-23。https://www.gzhijing.com/m/html/news/2020-11-23/1681.html
69. BuildAdmin 官方文档:WebNuxt 工程,2024-08-07。https://doc.buildadmin.com/senior/nuxt/intro.html(工程 https://github.com/build-admin/build-admin-nuxt)
70. BuildAdmin 官方文档:CMS 模块,2025-04-11。https://doc.buildadmin.com/md/cms

数据口径说明

1. robots.txt 平台开放度为 2026-09-12 当日逐站实抓,平台可随时变更;
2. GEO 效果数字分属原论文(PAWC 相对提升/Perplexity 可见度)与批判综述(SAGEO Arena 出现率/引用率)两套口径,并列展示、非同一指标,不可直接互比;
3. AI 引用份额类数字(Reddit 60%→10% 等)波动剧烈,引用须带日期;
4. 中文 AI 平台引用机制均为第三方实测,无官方文档,证据等级低于 OpenAI/Perplexity 官方口径;
5. Ahrefs 75,000 品牌研究(相关性 0.664/0.218)与 AIO 引用份额(45.35% 等)为二手转引,未核对原文;
6. 绵羊GEO 引用来源占比为民间汇总,样本方法未公开。

AI 辅助调研生成,数据以原始文献为准。