米兰体育app下载安装最新版:曾让全球大面积「断网」的网站揭秘：AI 爬虫正在张狂「掏空」互联网

假如你发现常看的网站某天忽然溃散，凶手或许不是黑客，也不是太火爆，是一群「看不见」的AI 爬虫正在隐秘侵略。

网站安全公司 Cloudflare 最近发布了 2025 年度回忆陈述，从底层基础设施的视角，给咱们出现了一个特殊的 AI 生计图鉴。

先给不了解的朋友做个简略的科普：Cloudflare 这公司，说直白点便是互联网国际的物业+警卫，管安全、管加快、管流量，可谓六边形兵士。

比方你拜访运用 Cloudflare 的网站时能秒开，大概率是它把你导向了最近的数据中心；网站能扛住 DDoS 进犯、不怕爬虫搞破坏，背面也八成有它的影子。

不过嘛，一旦 Cloudflare 宕机，半个互联网就得遭殃，也因而诞生了不少梗图。

但这个涨法有点门路，上半年底子没啥水花，流量一向在基准线月中旬忽然开挂形式，9 月、10 月、11 月一路狂飙突进，年末直接冲到全年峰值。

流量的去向很能阐明问题。Google 和 Facebook 仍然霸榜前二，这个没啥悬念。

作为看护全球很多网站的金牌警卫，Cloudflare 对爬虫进犯的监测最有发言权。本年 Cloudflare 在剖析 AI 爬虫的活跃度后发现，2025 年，用户行为类的 AI 爬取量增加了超越 15 倍。

便是你问 ChatGPT 一个问题，它去网上找答案的时分产生的流量。这一个数字从年头到年末翻了 21 倍多，底子和 ChatGPT-User 机器人的增加曲线彻底符合。

单看 AI 爬虫占 HTML 恳求的份额，平均是 4.2%，但全年动摇极大，4 月跌到 2.4% 的谷底，6 月底又冲到 6.4% 的峰值。不过这都不算啥，实在的「爬虫一哥」永远是 Googlebot。

这家伙的爬取量有多猛？它产生的 IPv4 恳求流量，是第二名的整整四倍！并且 Googlebot 还占了全年经验证机器人流量的四分之一以上，2 月到 7 月最张狂，4 月中旬到达峰值，占比超越 28%。

由于它不光要给 Google 查找引擎建索引，还得顺带练习 AI 模型。10 月的职业数据很能阐明问题：零售和计算机软件工业招引的 AI 爬虫流量算计超 40%，稳居前二。

这逻辑不难了解：零售职业的商品信息、用户点评，软件职业的代码、文档，都是练习 AI 的「优质食材」。排名前十的工业占了近 70% 的爬取量，剩余的则涣散在各个领域。

需求阐明的是，前期互联网的流量分为「人类用户」和「机器流量」，但机器也分三六九等。

Googlebot 这类查找引擎爬虫，和网站是共生联系：网站给内容，查找引擎给流量，能带来广告和转化；而生成式 AI 爬虫则是朴实的「寄生联系」，薅走内容练习模型，用户直接在 AI 界面拿答案，底子不会拜访原网站，纯属白嫖。

robots.txt 是一个放在网站根目录下的纯文本文件，用来告知查找引擎的爬虫哪些页面能够抓取、哪些不能够。能够把它了解成网站门口贴的「告示牌」，没有法律上的约束力，但懂规则的都会给点体面。

Cloudflare 计算了排名前 10000 的网站，看了看我们的 robots.txt 文件都怎样设置的，哪些爬虫被「彻底拉黑」，哪些被「部分约束」。

成果发现，被封得最狠的便是 AI 爬虫——GPTBot、ClaudeBot、CCBot 这几位，绝大多数都是要点冲击目标。

至于 Googlebot 和 Bingbot，待遇就好点了。大部分网站仅仅「部分制止」它们，比方不让它们爬登录页面或许后台办理区域，但内容区该看仍是让看。实在把这俩彻底拉黑的网站，其实挺少的。

浅显点讲便是，AI 渠道爬了你网站多少次，实践给你带回来多少实在访客。这个比值越高，阐明渠道底子便是在白嫖你的内容，压根不给你引流。

OpenAI 也好不到哪去，3 月比值高达 3700:1，后来幸亏 ChatGPT 查找功用用得多了，引荐流量才略微涨了点。

相比之下，Perplexity 算是 AI 圈里的「良知」，年头比值低于 100:1，3 月尽管涨到 700:1 以上，但很快回落，9 月后就稳定在 200:1 以下。

查找引擎这边，Microsoft 的比率有个古怪的周期性形式，周四最低，周日最高。全年峰值底子在 50:1 到 70:1 之间。

Google 年头是 3:1，4 月涨到 30:1，后来又降回 3:1，下半年又渐渐涨回来了。DuckDuckGo 前三季度都低于 1:1，但 10 月中旬忽然跳到 1.5:1，之后就一向保持这个水平了。

除了 AI 爬虫的管控，Workers AI 上的模型竞赛与使命需求也颇具亮点。

开发者能就近跑模型，按用量付费，不必自己买卡、搭环境。在 Workers AI 上，Meta 的 llama-3-8b-instruct 模型最受欢迎，文字生成则是最常用的使命类型。

Meta 和北京智源人工智能研究院 (BAAI) 在前十名中各有多款模型，前十名模型的帐户占比算计达 89%，其他占比散布在其他很多模型中。

先说说移动电子设备格式，全球移动电子设备流量里，iOS 占了 35%，比上一年涨了两个百分点。看似涨幅不大，但在多个高收入国家/区域，iOS 占比已超越一半：

摩纳哥最夸大，到达 70%；丹麦 65%、日本 57%、波多黎各 52%，全球共有 30 个国家/区域的 iOS 占比超 50%。

Android 则在更广泛的区域占有主导，有 27 个国家/区域的 Android 占比超越 90%，175 个国家/区域的 Android 占比达 50% 或更高，总的来看 Android 仍占全球移动电子设备流量大头。

从全球总的来看，Chrome 仍然称雄，贡献了三分之二的恳求流量，和上一年底子相等；Safari 以 15.4% 的占比排第二，考虑到它仅能在苹果设备上运用，这个成果已非常亮眼。

设备端差异更明显：iOS 上 Safari 统治力极强，占比高达 79%，是 Chrome（19%）的四倍；

最终提一嘴网络稳定性：2025 年全球共产生 174 起重大网络中止事情，但和幻想中不一样的是，最常见的原因居然是海外国家「防备考试做弊」导致的人为关网，其次才是天灾人祸形成的光纤堵截。