您现在的位置: 首页 > 新闻资讯 > 延伸阅读 > 网站SEO优化--robots文件的作用和书写方法
网站SEO优化--robots文件的作用和书写方法
作者:威创 来源:威创 2019-06-14

分享到:

  Robots文件是网站和搜索引擎之间的一个协议,搜索引擎在爬取一个网站内容之前都会先检查这个网站的robots文件,然后按照文件中的规定要求来抓取网站内容。


  一个网站里边有很多内容,有些内容只是单纯展示给用户看,对搜索引擎并没什么用,如果不屏蔽掉这些页面,不仅会分散网站权重,也会增加搜索引擎抓取难度,导致网站收录排名久久做不上去。因此就需要用到Robots文件,通过Robots书写规则,告诉搜索引擎哪些页面可以抓取,哪些页面不用抓取。


  一般来说网站通过robots文件屏蔽的页面类型包括搜索页面、缓存页面、feed页面、隐私页面和图片目录、css目录等。还有一些网站上不参与排名的页面,如:在线留言、联系我们,可以通过robots文件让搜索引擎不抓取这些页面,将网站权重集中在其他重要页面上,网站更容易获取排名。


网站robots文件


  Robots的概念与写法:

  User-agent表示定义哪个搜索引擎,如User-agent:Baiduspider,定义百度蜘蛛。

  Disallow表示禁止搜索引擎爬取相应的文件夹、链接。

  Allow表示允许搜索引擎抓取对应的目录链接。

  通过以上三个命令,可以组合多种写法,允许哪个搜索引擎访问或禁止哪个页面。如:

  User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

  Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

  Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

  Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

  Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

  Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

  Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

  Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

  Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

  Allow: /tmp 这里定义是允许爬寻tmp的整个目录

  Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。

  Allow: .gif$ 允许抓取网页和gif格式图片。


  robots的文件存放位置:

  通常robots文件直接存放于网站ftp后台的根目录路径即可,一般搜索引擎蜘蛛优先发文的也是网站的根目录下的robots。


5*8小时

服务支持

0元

免费试用

部署

教您全方位部署

意见

教您全方位部署

VIP

专享服务

服务热线

地址:深圳市龙华区民治街道宝山时代大厦2003

电话:15813855104

邮箱:victromcms@163.com

QQ:765449127

扫码关注我们

Copyright© 2012-2020 深圳威创盛世网络科技有限公司 版权所有 | 粤ICP备2024268967号