本文摘要：可以明确地告诉大家robots文件只能放在网站根目录关于这一点也是很好明白的前文提过robots文件就是针对搜索引擎蜘蛛的一种协议（有些蜘蛛纷歧定会遵守）搜索引擎蜘蛛进入网站都是先从网站根目录所以robots协议也只有在根目录的时候才有效而且需要注意的是robots文件的命名必须是robots.txt,只能用小写字母。

可以明确地告诉大家robots文件只能放在网站根目录关于这一点也是很好明白的前文提过robots文件就是针对搜索引擎蜘蛛的一种协议（有些蜘蛛纷歧定会遵守）搜索引擎蜘蛛进入网站都是先从网站根目录所以robots协议也只有在根目录的时候才有效而且需要注意的是robots文件的命名必须是robots.txt,只能用小写字母。

上文中User-agent代表的是搜索引擎蜘蛛的名字一般常用的是*代表通配换句话说就是该协议对所有搜索引擎蜘蛛都有用；Disallow指不允许会见的工具好比某一个css、js、图片、视频、文件夹等Disallow: /inc/代表的就是不允许搜索引擎蜘蛛爬行抓取inc文件夹下的所有文件；Allow指允许搜索引擎蜘蛛会见的路径Allow: /uqseo代表的是带有uqseo的文件或文件夹 ；Sitemap指本站的舆图一般为.xml或.txt花样的地址值得注意的是这里一定要写绝对地址。

此玩法需要php+伪静态或者php+路由来实现。前面讲到robots内里除了克制和运行之外另有一个十分重要的就是sitemap舆图有时候我们网站的sitemap舆图许多时如果全部写到robots内里就会显得十分臃肿此时我们接纳php控制输出就能实现每次会见robots显示差别的地址详细的就不为大家过多的演示了。

小提示：每个属性的冒号是用英文冒号冒号后面一定要空一格。

Disallow: /inc/

Sitemap: 域名/sitemapxq7jely9mgz.xml

3、robots协议的高级玩法

1、robots协议花样应该怎么写？

Allow: /uqseo

先给大家看一个最简朴的robots文件的写法：

2、robots只能放在根目录吗？

User-agent: *

什么是robots？百科给出的解释是： robots是网站跟爬虫间的协议用简朴直接的txt花样文本方式告诉对应的爬虫被允许的权限也就是说robots.txt是搜索引擎中会见网站的时候要检察的第一个文件。

当一个搜索蜘蛛会见一个站点时它会首先检查该站点根目录下是否存在robots.txt如果存在搜索机械人就会根据该文件中的内容来确定会见的规模；如果该文件不存在所有的搜索蜘蛛将能够会见网站上所有没有被口令掩护的页面。

。

本文关键词：KOK体育官方网站在线下载,几度,CMS,可以,明确,地,告诉,大家,robots,文件

本文来源：KOK体育官方网站在线下载-www.xinliyule.cn