PCTech
2008年9月14日星期日
百度收录淘宝再次有力地证明了百度无视robots.txt
不久前淘宝已经
屏蔽百度蜘蛛
,不过一直以来对百度是否真正遵守robots.txt存在怀疑.
目前又去百度搜了一下
淘宝
,发现淘宝网站仍然在列,另site一下www.taobao.com,百度一下,找到相关网页约2,310篇,用时0.001秒。这里收录数量明显比以前少,但还没有完全删除。
相信淘宝也是知道百度无视robots.txt的,可能同时用了其他手段来限制百度收录。
没有评论:
发表评论
较新的博文
较早的博文
主页
订阅:
博文评论 (Atom)
没有评论:
发表评论