做网站优化就要学会如何看网站被百度蜘蛛抓取

行业资讯 2019-10-03 20:31:57

百度用于抓取网页的措施叫做Baiduspider - 百度蜘蛛,我们查察网站被百度抓取的情形主若是剖析,网站日志里百度蜘蛛Baiduspider的活泼性:抓取频率,返回的HTTP状况码。

查察日志的方法:

经由过程FTP,在网站根目录找到一个日志文件,文件名一样寻常搜罗log,下载解压内里的记事本,这即是网站的日志,记录了网站被访谒和操纵的情形。

由于各个处事器和主机的情形差别,差此外主机日志成果记录的内容差别,有的乃至没有日志成果。

日志内容如下:

61.135.168.22 - - [25/oct/2010:04:02:45 +0800] "GET /youhua/youhuan_578.html HTTP/1.1" 200

850 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"  

剖析:

GET /youhua/youhuan_578.html   代表,抓取/youhua/youhuan_578.html 这个页面。

200  代表乐成抓取。

850  代表抓取了850个字节。

要是你的日志里名目不是云云,则代表日志名目设置差别。

很多日志里可以看到 200 0 0和200 0  64 则都代表正常抓取。

抓取频率是经由过程查察逐日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个类型的时刻表或频率数字,我们一样寻常经由过程多日的日志对近来武断。固然,我们但愿百度蜘蛛逐日抓取的次数越多越好。

咨询小瓶科技
咨询我们
顶部