robots协议的用途是什么？怎么查看robots协议-乾乾学习屋

robots协议是seo从业者都会接触到的一个东西，很多小白可能还不知道robots协议是什么，robots协议怎么写，今天为大家分享robots协议的相关知识，一起看看吧！

robots协议又称爬虫协议，是网站与蜘蛛爬虫之间的协议，它规定着搜索引擎抓取网站时所能抓取的内容，是网络爬虫爬行网站时第一个需要访问的文件，该文件位于网站的根目录下，文件名是robots.txt 。

robots协议的用途是什么？常常用它来保护你网站的隐私，防止网站重要信息泄露，对网站安全起到一定作用。同时，robots该协议可以控制蜘蛛合理的抓取网站的资源，可以通过该协议让蜘蛛爬行和捕捉更有价值、高质量的内容和网页，从而提高关键词页面排名的概率。有利于seo优化。

此外，robots该协议还可用于屏蔽网站上的图片、音乐、视频等大型文件，帮助网站节省服务器宽带，提高网站访问速度，给用户留下更好的印象。

正常情况下在该网站首页网址后加入/robots.txt就可以查看该网站的robots协议。

需要注意的是有的seo优化者可能会选择隐藏或者更改、禁止你访问网站robots协议的地址，所以这种查看方法未必对所有网站有效。如果你是网站的所有者，你也可以在网站的根目录或者宝塔里查看。

简言之允许访问就写allow，禁止访问就写Disallow，例如

User-agent: * (允许所有的搜索引擎可以按照robots文件中的限制语法进行合理地抓取网站中的文件、目录)

Disallow:/*?* (告诉搜索引擎，可以抓取我们网站里面的所有网页)

一般情况下网站建站系统自带的都有robots协议，如下面是wordpress自带的robots协议：

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Allow: /wp-admin/admin-ajax.php

不推荐大家直接使用网站的robots协议，需要根据自己的具体需要进行撰写robots协议！