EtaoSpider
发表于 2025-01-25 09:56:48
一淘网蜘蛛（EtaoSpider）为一淘网抓取工具。”被各大电子商务购物网站屏蔽。拒绝一淘网抓取其商品信息及用户产生的点评内容。被禁止的原因首先应该是它们之间没有合作互利的关系，还有就是EtaoSpider爬虫是一个抓取最疯狂的蜘蛛。统计发现EtaoSpider爬虫的一天爬行量比“百度蜘蛛：Baiduspider”“360蜘蛛：360Spider”“SOSO蜘蛛：Sosospider”等主流蜘蛛爬虫多几倍，并且是远远的多。重点是EtaoSpider被抓取只会消耗你的网站资源，它不会给你带来访问量，或者其它对你有利用的。
中文成语词典可用一个词来形容，这个词留给大家想吧。
不过对于国内网站来说不会带来什么流量，可以选择robots.txt协议禁止。
User-agent: EtaoSpider
Disallow: /如果还是禁止不了，可以选择nginx规则禁止访问，如下：
if ($http_user_agent ~* "EtaoSpider") {
return 403;
}
80
0
上一篇：AraybOt
下一篇：sogou spider
评论
登录 | 注册
