2008/07/02

爬虫们,饶了我吧

GFW TUNNEL用户似乎还不少,日均PV为2K左右,不过这点流量似乎还不至于让我的应用超过Google的配额。
但是,看后台数据,发现经常会有超出配额的一场出现。在代码里写Log一看,大量的爬虫们发起疯狂的DOS攻击,昨天是Baidu,今天是Soso,而他们的主要目标是Wikipedia。甚至我在Robots中已经禁止爬虫们索引Wikipedia了,为什么还是不管用呢?不过貌似Google的爬虫就从不光临Wikipedia。
联想到Baidu和Soso都是国内的产品,不由得引起我恶意的猜想。。。。。。
再观察观察看看。实在不行,就只能从代码上屏蔽了,是干掉Wikipeida?还是赶跑爬虫们?

1 条评论:

  1. google不去估计是因为用不着

    谷歌不去怕是因为阉过了……

    回复删除

Mastodon Daily(2024-05-01)

Nothing