《SEO基础片》- robots.txt文件 |seo笔记

robots.txt文件


概念:

    1、搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。

    2、搜索引擎机器人每次来到要抓取的网站。都会先访问这个网站根目录下的一个文件(rodots.txt),如果不存在该文件,则搜索引擎机器人默认这个网站允许全部爬取。

    

重点问题:

    1、robots.txt是一个简单的纯文本文件(记事本文件),搜索引擎机器人通过robots.txt里的“说明”,理解该网站是否可以全部抓取或部分抓取。

    2、如果你希望搜索引擎收录你网站的全部网页,侧你可以不设置robots.txt或上传一个命名为robots.txt的空记事本到根目录。

    3、上传你的robots.txt后,你可以通过你的域名/robots.txt来访问你的robots.txt文件。( 注意:robots.txt的命名,都应该小写)


seo优化-robots.txt

说明:

    robots.txt文件的内容主要就是一个代码:Disallow:

    注意:robots.txt文件中一般包含至少一个Disallow:

    如果都允许收录,你可以写一行Disallow:/search.html这个文件(search.html)本来不存在也没事。

内容版权声明:文章由沙漏博客 博主:颜浩 分享提供!

转载注明出处:https://www.58yanhao.com/a/38.html