GFW TUNNEL用户似乎还不少,日均PV为2K左右,不过这点流量似乎还不至于让我的应用超过Google的配额。
但是,看后台数据,发现经常会有超出配额的一场出现。在代码里写Log一看,大量的爬虫们发起疯狂的DOS攻击,昨天是Baidu,今天是Soso,而他们的主要目标是Wikipedia。甚至我在Robots中已经禁止爬虫们索引Wikipedia了,为什么还是不管用呢?不过貌似Google的爬虫就从不光临Wikipedia。
联想到Baidu和Soso都是国内的产品,不由得引起我恶意的猜想。。。。。。
再观察观察看看。实在不行,就只能从代码上屏蔽了,是干掉Wikipeida?还是赶跑爬虫们?
2008/07/02
订阅:
博文评论 (Atom)
Mastodon Daily(2024-05-14)
Amazon S3 改變 403 的收費方式 # ...
-
https://t.co/uNZYlXmkBs 纪录片《老摇滚》,不到1分钟就爆燃,25分钟的时候泪目…… 2017年就要过去了,我很怀念她,也怀念曾经还热爱摇滚乐的日子。 推荐大家看看这部纪录片,在这个辞旧迎新的时刻。 — 零零发 (@linglingfa) Dec...
-
用了一下午的时间,写了一个代理服务器,用来访问Blogspot。 下边是地址,使用也很简单。 http://gfw.appspot.com/ 现在看来效果还不错,目前可以有效的穿过GFW,但是如果页面中有敏感字,马上就会被重置,需要等待一段时间才可以使用。 最初的目的是为了帮助F...
-
用了一下午的时间,写了一个代理服务器,用来访问Blogspot。 下边是地址,使用也很简单。 http://gfw.appspot.com/ 现在看来效果还不错,目前可以有效的穿过GFW,但是如果页面中有敏感字,马上就会被重置,需要等待一段时间才可以使用。 最初的目的是为了帮助F...
google不去估计是因为用不着
回复删除谷歌不去怕是因为阉过了……