众多朋友有可能还对于robots.txt文件不太了解，而在百度关于严禁搜索引擎网站收录的办法媒介绍了众多关于robots.txt文件的用处，今日我们中国SEO就参照百度绍介为大家绍介下robots.txt。
"robots.txt"文件里面含有一条或更多的记录，这些个记录经过空行分开（以CR，CR/NL， or NL作为终了符），每一条记录的款式如下所述所示：http://www.yixiin.com/news/
"："
在该文件中可以运用#施行注释，具体运用办法和UNIX中的向例同样。该文件中的记录一般以一行或多行User-agent着手，后面加上多少Disallow和Allow行，周密事情状况如下所述：
1、User-agent：
该项的值用于描写搜索引擎网站robot的姓名。在"robots.txt"文件中，假如有多条User-agent记录解释明白有多个robot会受 到"robots.txt"的限止，对该文件来说，至少要有一条User-agent记录。假如该项的值设为*，则对不论什么robot均管用， 在"robots.txt"文件中，"User-agent：*"这么的记录只能有一条。假如在"robots.txt"文件中，参加"User- agent：SomeBot"和多少Disallow、Allow行，那末名为"SomeBot"只遭受"User-agent：SomeBot"后面的 Disallow和Allow行的限止。
2、Disallow：
该项的值用于描写不期望被过访的一组URL，这个值可以是一条完整的途径，也可以是途径的非空前缀，以Disallow项的值开头的URL不会被 robot过访。例如"Disallow：/help"严禁robot过访/help.html、/helpabc.html、/help /index.html，而"Disallow：/help/"则准许robot过访/help.html、/helpabc.html，不可以过访 /help/index.html。"Disallow："解释明白准许robot过访该网站的全部url，在"/robots.txt"文件中，至少要有一 条Disallow记录。假如"/robots.txt"不存在还是为具文件，则对于全部的搜索引擎网站robot，该网站都是开放的。
3、Allow：
该项的值用于描写期望被过访的一组URL，与Disallow项相仿，这个值可以是一条完整的途径，也可以是途径的前缀，以Allow项的值开头的URL 是准许robot过访的。例如"Allow：/hibaidu"准许robot过访/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的全部URL默许是Allow的，所以Allow一般与Disallow配搭运用，成功实现准许过访一小批网页 同时严禁过访其他全部URL的功能。
4、运用"*"and"$"：
Baiduspider支持运用通配符"*"和"$"来依稀般配url。http://www.yixiin.com/
"$" 般配行终了符。
"*" 般配0或多个恣意字符。
