解析robots的写法,及作用

文件应该放在网站根目录下,用好是很容易为你网站提权的。主要作用是让搜索引擎抓取什么,不让搜索引擎抓取什么事实上seo快速建站越来越受到广大客户的欢迎,市场表现力也逐渐提升。
一、. 的写法:
1. u-: *
意思是允许所有搜索引擎收录,星号代表所有。
2. d:
意思是禁止搜索引擎收录页面。
3. 禁止所有搜索引擎访问网站的所有部分
u-: *
d:
4. 禁止百度索引你的网站
u-: b
d:
5. 禁止g索引你的网站
u-: g
d:
6. 禁止除g外的一切搜索引擎索引你的网站
u-: g
d:
u-: *
d:
7. 禁止除百度外的一切搜索引擎索引你的网站
u-: b
d:
u-: *
d:
8. 禁止蜘蛛访问某个目录
(例如禁止被索引)
u-: *
d:
d:
d:
9. 允许访问某个目录中的某些特定网址
u-: *
a:
a:
a:
d:
d:
d:
在seo优化过程中,对于蜘蛛的了解和控制至关重要,关于.的写法还有很多,希望以上这些对大家有帮助。
二、. 注意事项:
1. 如果你希望搜索引擎收录网站上所有的内容,那么就不要建立.文件。
2. 如果同时存在动态和静态链接,那么建议屏蔽动态链接。
3. .只能是屏蔽站内文件的,对站外文件没有屏蔽功能。
4. u-,a,d,s的首字母都是大写的。
5. u-,a,d,s的冒号后面都是有空格的,没有写空格直接写接下来的内容会出错。
6. 网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比,标题和内容上相同的,而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢,这样就会造成内链之间相互竞争,造成内部资源损耗。
7. 建议屏蔽文件。d: *.$,以 . 结尾的路径统统被屏蔽,这样就屏蔽了文件。
8. 路径是区分大小写的。d:和 d: a 是不一样的。
9. .会暴露网站相关目录,写.时要考虑到这一点。
10. 有些会将文件直接备份在服务器中,文件是 . 格式,然后在.中屏蔽。个人不建议这样,这就是明显告诉人家你的备份文件位置。建议文件和数据都备份到本地。
11.必须命名为:.都是小写,后面加。