GFW TUNNEL用户似乎还不少,日均PV为2K左右,不过这点流量似乎还不至于让我的应用超过Google的配额。
但是,看后台数据,发现经常会有超出配额的一场出现。在代码里写Log一看,大量的爬虫们发起疯狂的DOS攻击,昨天是Baidu,今天是Soso,而他们的主要目标是Wikipedia。甚至我在Robots中已经禁止爬虫们索引Wikipedia了,为什么还是不管用呢?不过貌似Google的爬虫就从不光临Wikipedia。
联想到Baidu和Soso都是国内的产品,不由得引起我恶意的猜想。。。。。。
再观察观察看看。实在不行,就只能从代码上屏蔽了,是干掉Wikipeida?还是赶跑爬虫们?
2008/07/02
订阅:
博文评论 (Atom)
Mastodon Daily 2026-07-17
时间范围: 7/17/2026, 12:00:00 AM - 7/17/2026, 11:59:59 PM (Asia/Shanghai) 共 0 条帖子
-
https://t.co/uNZYlXmkBs 纪录片《老摇滚》,不到1分钟就爆燃,25分钟的时候泪目…… 2017年就要过去了,我很怀念她,也怀念曾经还热爱摇滚乐的日子。 推荐大家看看这部纪录片,在这个辞旧迎新的时刻。 — 零零发 (@linglingfa) Dec...
-
使用 Cloudflare Tunnel 的 TryCloudflare 取代 ngrok ...
-
Kubernetes 应用之 JupyterHub 搭建和运维 ...
google不去估计是因为用不着
回复删除谷歌不去怕是因为阉过了……