robots.txt是放在网站根目录之下的一个文件，不是供用户查询，而是供搜索引擎查询的。当搜索引擎蜘蛛爬行网站时，可以通过robots文件了解我们的访问权限。robots文件不是像W3C那样指定的互联网规范协议，而是由很多搜索引擎定制的。
虽然大家了解了robots文件的意思是什么，但robots文件对于站点网站排名优化有哪些用途呢?robots文件对于网站排名优化有肯定有哪些用途，要对其熟练的进行运用，主要有以下五个方面促进SEO推广，由于robots文件是针对搜索引擎，所以运用得好，可以增加搜索引擎的抓取网站的体验度，从而增加量网站的网站收录量。
1.屏蔽网站的空、死链接
因为网站内容的修改和删除，比较容易致使网站中的一些内链变成空链或死链。一般大家会按期检查网站的空链和死链，提取这类链接，将它们写入robots文件中，预防搜索引擎抓取这类链接。这种办法是有效的，由于修改已经网站收录的内容将使搜索引擎第三爬行修改过的页面，并且第三判断是不是网站收录，假如没的话就会继续网站收录，则会得不尝失。
2.预防蜘蛛爬取网站的重复内容
由于不少网站上的动态页面搜索引擎都不可以网站收录，所以有时候大家需要为这类动态页面开发一个静态页面，以帮助搜索引擎网站收录。这是为了不让搜索引擎抓取重复的内容，降低站内页面的关键字的网站权重角逐。
3.预防蜘蛛抓取无意义的内容，浪费服务器资源
网站上有不少无意义的内容，如网站的各种脚本代码、CSS文件和PHP文件等，这类文件对于SEO毫无意义，抓取这类网站不只不会网站收录，还会浪费服务器资源。
4.保护网站隐私内容
网站上有不少的页面都有一定量的隐私，如用户同意的推送或者推购物车等，虽然这类链接在一个页面上，但显然是不期望搜索引擎抓取的内容。
5.有益于网站的调试
网站在第一次上线之前都会有肯定的错误，需要一段时间的调试，然后再对搜索引擎开放爬行，在调试期间，你可以将robots文件设置成对所有些搜索引擎都处于拒绝爬行的状况，等到所有些错误修改完成后在修改robots文件。
每次修改robots文件后都需要到搜索引擎站长平台上提交robots文件更新提醒，由于搜索引擎更新网站的状况是需要肯定的时间，只有手工提交才能使更新后的robots文件生效。
推荐标题robots文件对SEO的重要程度
