IT技术学习网
IT技术学习网
您的位置: 主页 > 网站运营 > SEO >

百度蜘蛛爬虫大量访问抓取js,css,php计数文件

2014-11-18 22:37 来源: IT技术学习网原创 阅读:

从2014年10月25日开始,itjsxx.com从网站日志中发现,百度蜘蛛开始大量访问js,css,还有js中嵌入的php文件等等。

在以前,从访问日志来看,百度蜘蛛从未访问过js和css。

我起先还以为我的robots.txt文件写错了,后来不管怎么禁止蜘蛛访问,都没有用,蜘蛛对此类文件的禁止是无视的。

而今天,我甚至在站长统计里看到了大量的来自220.181.165.*的百度蜘蛛访问。。。昨天和以前都从未有过,这说明这些蜘蛛已经完全能执行js了。

所以,百度蜘蛛访问js,css什么的,应该是正常现象,禁止都禁止不了的。网上也有类似说法。

当然,蜘蛛抓取归抓取,不会收录。如果收录了,就是不正常了。

百度蜘蛛爬虫大量访问抓取js,css,php计数文件
转载需注明出处:IT技术学习网 http://www.itjsxx.com/seo/zhizhu_js_css.html

评论文章 百度蜘蛛爬虫大量访问抓取js,css,php计数文件
评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)
IT技术学习网 - 关于我们 - 联系我们 - 版权声明 - 网站地图