
接过不少"上线半年AI完全不引"的站,排查下来问题常不在内容,在建站时的三个技术默认值:robots写得太狠、正文靠前端渲染、抓取预算被浪费。这三件事在建站期定好,成本几乎为零;上线后再改,往往要动模板动架构。
第一件,robots别照抄旧模板。不少建站公司给的robots.txt还带着十年前的Disallow清单,把列表页、分页、参数页全禁了。传统搜索时代这叫"集中权重",AI时代这叫"把答案页的门焊死"——AI爬虫顺着内链找答案,分页禁了,第二页以后的文章它根本走不到。建站时只禁后台、安装目录、缓存和私有路径,其余放开,sitemap声明写全。
第二件,正文必须服务端渲染。纯前端框架建的站,HTML源码里只有一行挂载点,正文靠JS跑出来。部分AI爬虫不执行JS,抓到的就是空壳,内容再好也进不了引用池。建站选型时要么选服务端渲染方案,要么确认框架支持预渲染,验收标准很简单:curl抓首页和文章页,源码里能直接读到正文文字。
第三件,别浪费抓取预算。无限参数页、重复的打印页、会话ID URL,会让爬虫把配额耗在垃圾页上。建站时定好URL规范:参数白名单、canonical指主版本、无用页noindex。王尘宇在西安验收新站,这三项是必查清单,他说内容可以上线后慢慢补,路要是建错了,补内容等于往死胡同里搬货。
技术之外的答案页规划看 GEO优化从哪一步开始,AI抓取与引用机制看 AI搜索引用机制拆解。建站是为被找到而建的,路通了,后面的内容投入才算数。
常见问题
Q:怎么快速自检正文是否服务端渲染?
A:用curl或浏览器"查看源代码"搜正文中的一句话,搜得到即服务端渲染;只看到挂载点则需预渲染改造。
Q:robots放开分页会不会造成重复收录?
A:配合分页canonical与标题差异化即可;相比重复收录,AI走不到内页的损失更大。
Q:已上线的站这三件还能补吗?
A:能。robots与URL规范改配置即可,渲染问题需模板或框架改造,按影响面排期推进。