2026年10月30日起，Meta 将获准抓取企业网站数据

这是 Meta 最新发布的 商业条款 (Commercial Terms) 中的新内容。在引发媒体强烈反弹后，Meta 删除了允许将抓取内容用于“训练”产品的字眼，但依然保留了抓取权。店铺目前仍可自主掌控的部分，仅剩下 robots.txt 文件、决定放行哪些 Meta 爬虫以及隐私政策页面的撰写。

抓取权不再仅限于广告主

如果店铺正在投放广告，Meta 原本就拥有这项权利。根据 Search Engine Journal 对对比不同版本条款的报道，2025年8月22日版的自助广告条款（Self-Serve Ad Terms）已规定，当广告主投放广告时，Meta 即可收集其网站内容，用于包括研究和训练在内的多种用途。

本次变化在于，商业条款将这项权利扩大到了所有使用 Meta for Business 的店铺，哪怕店铺只运营 Facebook Page 而不投广告。

具体而言，Meta 可利用自动化软件并创建测试登录凭证（test credentials），以此访问、检索、缓存和抓取与你的产品或服务相关的页面，并定期获取更新内容。康奈尔大学法学教授 James Grimmelmann 指出，测试登录凭证能让 Meta 像伪造的用户一样注册账号，从而绕过那些需要注册才能查看的页面。

条款的最初草案写明，Meta 可将抓取的内容用于训练产品。

据 Search Engine Journal 报道，新闻媒体 Nieman Lab 在10月17日披露 Meta 已删除了相关字眼。截至10月20日的预览版本中，抓取目的调整为提供、开发、改进、研究和维护 Meta 的广告及商业产品，以及保障其产品的安全与稳定。抓取权和测试登录凭证的要求则维持不变。

Meta 发言人 Daniel Roberts 表示，此次更新并没有改变公司使用爬虫的方式。然而，Loevy & Loevy 律所的媒体与知识产权律师 Matt Topic 则有不同的解读：

“我认为‘开发’（develop）这个词的涵盖面足够广，完全可以把‘训练’包含进去。”

这意味着单看条款，店铺根本无法确定自己的网站内容到底有没有被拿去训 AI。商家若想了解各个爬虫的具体用途，必须仔细研读 Meta 的技术文档。

精准拦截 AI 训练爬虫，切勿一刀切屏蔽 Meta

Meta 表示，企业依然可以通过 robots.txt 来管理访问权限。Meta 网络爬虫技术文档 按用途将两只与 AI 相关的爬虫进行了区分：

• Meta-ExternalAgent: 抓取数据用于训练 AI 模型，或为产品构建内容索引。
• Meta-WebIndexer: 服务于 Meta AI 中的搜索功能，用于引用并附上你的网站链接。

因此，你可以选择屏蔽训练爬虫，同时对搜索爬虫保持开放。拦截任何一只爬虫都有其代价，目前尚无确切数据能衡量哪种做法更划算。

此外，Meta-ExternalFetcher 和 FacebookExternalHit 这两只爬虫在某些情况下会绕过 robots.txt。威斯康星大学法学教授 Benjamin Sobel 也特别提醒，robots.txt 仅代表站点所有者的意愿，并不具备强制法律效力。

如果你不想让内容被拿去训练 AI，Meta 专门为此指定的爬虫名称是 meta-externalagent。 如果把其他爬虫也一并拦截，当顾客分享产品链接时，店铺可能会失去预览图和标题，或者失去被 Meta AI 引用并引流的机会。

robots.txt 本身也存在局限。商业条款中并未提及该文件，因此尚不清楚拦截爬虫能否限制你已经同意授予的权利。Meta 在回应 Nieman Lab 时称，本次更新不会赋予公司绕过 robots.txt 设置的新特权；但 Benjamin Sobel 教授提醒，遵守 robots.txt 完全出于自愿，网站所有者在法律上并没有手段强制爬虫遵守。

Shopify 卖家现在该怎么做？

建议在10月30日前完成以下操作：

• 检查现有文件： 打开 tenmiencuaban.com/robots.txt，查找包含 meta-externalagent 的行。如果找不到，说明店铺尚未针对该爬虫设置专属规则。
• 根据需要屏蔽 AI 训练爬虫： 参考 Shopify 官方指南，在主题的 robots.txt.liquid 模板末尾（默认 Liquid 代码之后）添加以下两行。如果主题还没有该模板，可以通过 Add a new template 添加并选择 robots。Shopify 特别提醒，官方客服不提供此文件的修改协助，改错可能导致所有流量丢失；因此只需追加规则，切勿替换整个文件。Meta 最长需要24小时来识别这项更新。

User-agent: meta-externalagent
Disallow: /

• 保留对销售有利的爬虫： 如果希望分享产品链接时正常显示图片，请保持 facebookexternalhit 正常运行；如果希望出现在 Meta AI 的推荐回答中，请保留 meta-webindexer。
• 排查不宜公开的信息： 批发价格表或代理商专享页面不应仅依赖 robots.txt 进行防护，更不应该放在只需注册账号就能直接查看的页面上。

如果你是帮客户搭建店铺的代运营机构或自由职业者，请注意 Shopify 明确规定，从 Themes 导入主题时不会带入 robots.txt.liquid。因此，每次帮客户更换主题，都必须重新配置这套规则。

Meta 在发布新条款后仅过了几天就修改过一次预览版，建议在10月30日前重新核对条款。在此期间，店铺能自主把握的，就是决定放行哪些爬虫，并及时将敏感信息从公开页面中撤下。