robots.txt是什么，网站的robots应该怎么写，每一个网站网站一定要写robots吗，如果不写会不会影响网站优化的效果，今天SEO带你一起探秘robots，robots是网站的一个规则性文件，其作用是告诉搜索引擎哪些文件需要收录，哪些文件不需要收录，从而让搜索引擎能够收录正常的文件，那么robots文件主要有什么作用：
第一：指定文件收录
第二：屏蔽不需要收录的链接，例如动态路径。
想要写好robots并不难，有些程序自带了robots文件，如果要求不是很高的话，直接使用默认的robots规则即可，当然你可以可以登陆百度站长平台，生成robots规则，或者借鉴同类网站的robots规则，方法很简单，只需要输入：某个域名.robots.txt即可。
至于详细的写法博客就不啰嗦了，网络中已经有很多同类的文章，不过我还是要善意的提醒大家，robots是一个很重要的规则文件，一定要认真对待，不能随意的改动，尤其是不能乱写，如果不小心屏蔽了某个搜索引擎，后果是十分严重的，会直接影响网站收录。
下面简单说一下robots的使用过程，首先需要生成一个robots文件{dq}SEO分享经验。建议使用百度站长工具，登陆百度站长平台即可找到使用方法，生成以后直接上传到网站根目录，上传以后再次使用百度站长工具进行检查，以确认robots文件是否正常，{dq}SEO分享经验，并且定期检查robots.txt是否正常。