ego008 avatar

好多Spider 不遵守 robots.txt 规则

🕓 by ego008

一个GAE 的应用最近Datastore Read Operations 总超出免费配额,看log 原来是很多蜘蛛爬的结果。 于是在robots.txt 上写着“狗和白痴不许入内”,但还是没用,只能记录ip屏蔽了。

💘 相关文章

评论

共2条关于"好多Spider 不遵守 robots.txt 规则"的评论

苦逼码农 avatar
#1 苦逼码农 回复

User-agent: Baiduspider Disallow: / User-agent: sogou spider Disallow: / User-agent: Googlebot Disallow: / User-agent: Slurp Disallow: / User-agent: ia_archiver Disallow: / User-agent: MSNBot Disallow: / User-agent: Robozilla Disallow: / User-agent: googlebot-image Disallow: / User-agent: * Disallow: /

写一条评论

Based on Golang + fastHTTP + sdb | go1.16.5 Processed in 0ms