首页 小组 问答 话题 好文 素材 用户 唠叨 我的社区
全部 5G seo优化 域名知识 站长百科 官方私苑 站长建站 创业看看

CloudFlare 免费账户也可以开启 AI 抓取工具和爬虫防护

道亮_(:з」∠)_
发表于 2024-08-11 16:22:08

今天看到 CloudFlare 针对免费用户推出了 AI Scrapers and Crawlers 功能,就是 AI 爬虫防护,用来阻止 AI 机器人和爬虫抓取网站内容,用来训练人工智能。原来这项功能专门针对付费用户,现在无论是免费还是订阅用户,只需要一键开启该选项后即可。


开启方法很简单,登陆 CloudFlare 后台,左侧菜单选择安全性,自动程序,开启 AI Scrapers and Crawlers 即可。
CloudFlare 可能已经可以识别并整理出了常见的 AI 爬虫例如 OpenAI 的 GPTBot,直接阻止这些爬虫,对于很多重视版权的网站尤其是新闻媒体类的中小网站非常有用。AI 抓取网站内容训练自己的大模型是必然趋势,就算禁止也阻止不了偷鸡摸狗,比如某度。

148 0

评论
站长交流