北京微信小程序开发_手机APP开发_微信分销(直销)软件系统_电商商城系统Mshop_北京VR虚拟现实开发(北京小瓶科技有限公司官网)

做网站优化就要学会如何看网站被百度蜘蛛抓取

百度用于抓取网页的措施叫做Baiduspider - 百度蜘蛛,我们查察网站被百度抓取的情形主若是剖析,网站日志里百度蜘蛛Baiduspider的活泼性:抓取频率,返回的HTTP状况码。

查察日志的方法:

经由过程FTP,在网站根目录找到一个日志文件,文件名一样寻常搜罗log,下载解压内里的记事本,这即是网站的日志,记录了网站被访谒和操纵的情形。

由于各个处事器和主机的情形差别,差此外主机日志成果记录的内容差别,有的乃至没有日志成果。

日志内容如下:

61.135.168.22 - - [25/oct/2010:04:02:45 +0800] "GET /youhua/youhuan_578.html HTTP/1.1" 200

850 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"  

剖析:

GET /youhua/youhuan_578.html   代表,抓取/youhua/youhuan_578.html 这个页面。

200  代表乐成抓取。

850  代表抓取了850个字节。

要是你的日志里名目不是云云,则代表日志名目设置差别。

很多日志里可以看到 200 0 0和200 0  64 则都代表正常抓取。

抓取频率是经由过程查察逐日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个类型的时刻表或频率数字,我们一样寻常经由过程多日的日志对近来武断。固然,我们但愿百度蜘蛛逐日抓取的次数越多越好。

(发布时间:2011-01-31 15:59)

相关内容:

推荐内容:

 
QQ在线咨询
点击这里给我发消息
点击这里给我发消息
24小时咨询热线
18801079534
客服咨询热线
010-86399882
010-53383576
  • 致电我们
  • 公司地址