今日收到空间商通知，由于Google爬行速度太快，不得不禁止掉他的ip以减轻服务器负载。我不得不寻找方法降低Google爬虫在我的网站的爬行速度。以下是参考：
YAHOO 的解决办法
http://misc.yahoo.com.cn/help.html#q10
robots.txt
User-agent: Slurp
Crawl-delay: 20
解释
由于增加了访问过滤，那么就需要告诉网络爬虫爬行的速度不要太快，还好这个问题比较好解决，在robots.txt中增加：
Robot-version: 2.0
Crawl-delay: 10
Request-rate: 60/1m
Visit-time: 0000-0800
由于这个还没有完全的标准，两种都用了，Crawl-delay是每秒访问的网页数，而Request-rate是页面数/时间段，可以设置为比较小的值，Visit-time为允许访问的时间段。
没找到Google这方面的资料，只能登录Google网站管理员工具进行设置限制了！
Post a Comment