登录

Meta 和 OpenAI 两家智能体,占了观测到的 AI 爬虫请求的近九成

81
  • Lvan
    UID 1112楼主

    一份机器人流量数据显示:一个月里观测到的 AI 智能体请求中,近九成来自 Meta 和 OpenAI 两家。爬虫江湖看着热闹,流量其实就攥在两家手里,网站的 robots.txt 得先认清这俩。

    来源:The Answer Engine(转引 Search Engine Journal)
    原文链接:https://theanswerengine.news/
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

1 条回复

  • kinghost
    UID 355
    #1

    九成集中在两家,robots.txt 的谈判对象其实就俩,网站主不用对着几十家爬虫一家家谈了。但 “观测到的” 这个口径得小心——样本来自哪家防火墙或 CDN,代表性差得不是一点半点,Cloudflare 的数据和某家小厂商的能差出一个量级。

发表回复