robots.txt是什么文件 有什么作用

    问：经常在网上看到说网站目录里面最好加robots.txt文件，请问robots.txt是个什么样文件，上传了robots.txt文件到网站目录又有什么作用呢？

    答：当一个搜索引擎蜘蛛（比如百度蜘蛛）访问你的站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

    所以从这点看出，robots.txt是一个协议，而不是一个命令。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，什么文件可以被抓取。当然了，如果你的网站有robots.txt这个文件，那么它将是搜索引擎中访问你的网站时要查看的第一个文件。

    推荐阅读：百度官方定义什么是robots.txt文件？

    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

    请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

    robots.txt文件放在哪里？

    robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.baidu.com）时，首先会检查该网站中是否存在http://www.baidu.com/robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

    在robots.txt中禁止百度收录，百度搜索结果中还显示？

    如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。