您现在的位置是:菜鸟学堂 > SEO优化 > SEO基础学习 > SEO基础学习

网站robots协议的写法规范和注意语法

菜鸟菌2019-11-19SEO基础学习人已围观

简介是个SEO站长都知道 robots协议 是搜索引擎访问网站第一个访问的文件,robots协议里的语法命令是告诉搜索引擎在访问网站时要遵守哪些协议,不要到处乱爬乱抓取。对于很多新手SEO来讲

       是个SEO站长都知道robots协议是搜索引擎访问网站第一个访问的文件,robots协议里的语法命令是告诉搜索引擎在访问网站时要遵守哪些协议,不要到处乱爬乱抓取。对于很多新手SEO来讲,虽然知道robots为何物,但是对robots协议的写法规范、注意要领还是迷糊的。

       很多人会有“robots该屏蔽网站哪些文件,不该屏蔽哪些文件呢!”、“屏蔽与不屏蔽怎么书写语法命令”这些疑问。的确,robots协议写好了可以给网站SEO优化加分,写错了那伤害也是刚刚的。菜鸟菌经常会发现有人问,我的网站都是原创内容,就是不收录,结果一看,好家伙,robots协议屏蔽蜘蛛了。


网站robots协议的写法规范和注意语法

       所以,robots协议作为蜘蛛访问网站的第一道锁线,站长们要正确认真对待,哪里该封锁,哪里该放开,要在robots协议里写的明明白白。下面菜鸟菌讲下robots协议的写法规范和注意语法。

       robots的语法主要有5个,即:

       1、“User-agent”,定义搜索引擎,用来表明协议是针对哪些搜索引擎蜘蛛的;


       2、“Disallow”,禁止抓取,用来表明协议禁止抓取哪些文件;

       3、“Allow”,允许抓取,用来表明协议允许抓取哪些文件;

       4、“$”,结束符;


       5、“*”,通配符;

       其次,robots协议的语法首字母必须是大写每个语法一行一个。语法后面跟着英文状态下的冒号,冒号后要有个空格。例如:

       User-agent:*

       此语法表示下面的协议对所有的搜索引擎生效

       User-agent:baiduspider
       此语法表示下面的协议只对百度的搜索引擎生效

       User-agent:googlebot
       此语法表示下面的协议只对谷歌的搜索引擎生效

       User-agent:sougouspider

       此语法表示下面的协议只对搜狗的搜索引擎生效

       User-agent:*

       Disallow: /
       此语法表示禁止所有搜索引擎访问整个网站,同理,把“*”换成哪个搜索引擎蜘蛛的名称,就是禁止哪个搜索引擎访问。

       User-agent:*
       Allow: /
       此语法表示允许所有搜索引擎访问整个网站,Allow: /可以用Disallow:替代,一般都习惯用Disallow语法,Allow很少用。反正就是对立,作用是一样的。


       User-agent: Baiduspider
       Disallow: /

       此语法表示禁止百度搜索引擎访问网站,但其它的搜索引擎可以访问,同理换成其它也是一样的。

       User-agent语法的应用,如果没有特殊的要求,一般都是“*”定义所有的搜索引擎。那通常都要屏蔽哪些文件,不让蜘蛛访问呢!比如网站后台文件、模板文件、JS、CSS、或有特殊意义的文件等。
       例如:禁止所有搜索引擎访问admin、data、templets、style文件夹
       User-agent:*
       Disallow: /admin
       Disallow: /data

       Disallow: /templets
       Disallow: /style

       禁止所有搜索引擎访问admin文件夹,但允许访问admin问价下cainiao文件
       User-agent:*
       Disallow: /admin/

       Allow: /admin/cainiao

       “*”、“$”语法的使用

       禁止所有搜索引擎抓取/conent/目录下的所有以“.html”后缀结尾的页面
       User-agent: *
       Disallow: /conent/*.html

       使用语法“$”禁止所有搜索引擎访问以.jpg格式结尾的图片和“.php”后缀结尾的页面
       User-agent: *
       Disallow: /.jpg$

       Disallow: /.php$

       robots协议基本的语法就上面五个,但是可以根据站长不同的要求,组合语法制定出不同的协议,这个还需要大家多去尝试。此外,因robots协议是第一个被访问的文件,站长通常喜欢把网站地图加入到协议里,以求网站链接第一时间被发现抓取。




菜鸟学堂微信公众号二维码

关注我,为营销者点赞!