- 淘宝九月八号宣布屏蔽百度。同时在Robot.txt中加入屏蔽代码。
- 而现在百度中访问淘宝,最后更新时间为九月十号。
- 只有两个可能:
淘宝的技术太烂了,竟然不能在Robot.txt中写入全部的百度爬虫的名字。
百度是一个不遵守Robot.txt的流氓。
订阅:
博文评论 (Atom)
Mastodon Daily(2024-05-02)
Nothing
-
https://t.co/uNZYlXmkBs 纪录片《老摇滚》,不到1分钟就爆燃,25分钟的时候泪目…… 2017年就要过去了,我很怀念她,也怀念曾经还热爱摇滚乐的日子。 推荐大家看看这部纪录片,在这个辞旧迎新的时刻。 — 零零发 (@linglingfa) Dec...
-
用了一下午的时间,写了一个代理服务器,用来访问Blogspot。 下边是地址,使用也很简单。 http://gfw.appspot.com/ 现在看来效果还不错,目前可以有效的穿过GFW,但是如果页面中有敏感字,马上就会被重置,需要等待一段时间才可以使用。 最初的目的是为了帮助F...
-
用了一下午的时间,写了一个代理服务器,用来访问Blogspot。 下边是地址,使用也很简单。 http://gfw.appspot.com/ 现在看来效果还不错,目前可以有效的穿过GFW,但是如果页面中有敏感字,马上就会被重置,需要等待一段时间才可以使用。 最初的目的是为了帮助F...
没有评论:
发表评论