苏州东捷财务咨询有限公司1.什么是机器人协议文件？
Robots协议用于确保网站的隐私信息不被泄露。robots协议定义的规则规定搜索引擎要抓取网站的内容。用白话解释就是告诉蜘蛛有些页面是不对蜘蛛开放的。一般存储在网站的根目录下，但是说白了，各大搜索引擎会抓取吗？
大多数网站都有机器人协议，也称为爬虫协议或机器人协议。它以文本文件格式存在，俗称robots.txt，是网站告诉搜索引擎蜘蛛程序哪些页面可以抓取，哪些页面拒绝抓取。当一个搜索引擎蜘蛛来访问一个网站时，第一件事就是先读取robots文件，然后按照协议访问和抓取网站。如果网站上不存在robots协议，将被视为能够抓取网站上的所有内容。包括敏感的隐私文件。所有的建议都是网站应该有一个机器人协议。
在互联网世界里，每天都有无数的爬虫夜以继日的抓取数据，恶意爬虫的数量远远高于非恶意爬虫。但并不是每一种爬行动物都会主动遵守机器人协议。
Robots协议可以更好地辅助搜索引擎蜘蛛抓取我们的网站，提高抓取效率。
用户代理:*不允许:/*。php $ disallow:/*。js $ disallow:/*。inc $ disallow:/*。css $ III。对robots协议的一些误解
1.假设网站上的所有文件都同意被蜘蛛抓取，没有私有文件需要隐藏。在网站上添加robots协议文件是否没有必要？当然，答案是否定的。如果没有robots协议文件，那么搜索引擎蜘蛛会抓取网站的所有页面，包括404页面，这会造成网站重复页面过多。而且蜘蛛访问robots.txt的时候，也会给蜘蛛返回一个404错误。
合理使用robots.txt文件也可以避免访问错误。例如，你不能让搜索者直接进入购物车页面。因为购物车没有被收录的理由，所以可以在robots.txt文件中设置，防止搜索者直接进入购物车页面。
在互联网的大部分公司里，有些爬虫并不关注robots.txt或者完全无视它，不排除开发者的能力。比如他们根本不了解robots.txt。另外，robots.txt本身并不是强制措施，没有办法强制阻止爬虫抓取网站内容。当然，如果网站有需要保密的数据，一定要采取加密的技术措施，比如用户认证、内容加密传输、拦截ip白名单黑名单、拦截访问频率控制等技术措施，避免恶意抓取。
机器人。txt文件也可以直接包含网站地图文件的链接。
用户代理:*不允许:/管理/后台管理文件不允许:/要求/程序文件不允许:/附件/附件不允许:/图像/图片不允许:/数据/数据库文件不允许:/模板/模板文件不允许:/css/样式表文件不允许:/语言/编码文件不允许:/脚本/脚本文件
如果你的网站是一个动态网页，而这些动态网页创建了静态副本，那么搜索蜘蛛会更容易抓取。然后你需要在robots.txt文件中设置防止动态网页被蜘蛛索引，这样才能保证这些网页不会被认为包含重复内容。
目前支持这个的搜索引擎公司有Google，Yahoo，Ask，MSN。但是，中国的搜索引擎公司显然不在这个圈子里。这样做的好处是，站长们不必使用每个搜索引擎或者类似站长平台的站长工具来提交自己的sitemap文件。搜索引擎的蜘蛛会抓取robots.txt文件，读取sitemap路径，然后抓取链接的网页。
注意，这是一个建议。即使通知了搜索引擎，也不确定搜索引擎什么时候抓取，但总比根本不通知好。至于好多少，就看搜索引擎的良心和技术能力了。
反恶意爬虫是一项长期而艰巨的任务。如果自己难以解决，可以使用商业风险分析平台对抗恶意爬虫，根据自己的需求定制功能。此外，恶意爬虫可以通过电子方式获取证据。如果涉及到给自己的网站造成经济损失，可以起诉恶意爬虫所属公司的个人进行赔偿。
个人觉得都是爬行。可能只是在加入索引数据库的时候处理页面。那些页面不加入索引数据库，因为说白了，搜索引擎毕竟是数据公司，不会放过每一个数据。当然，这只是猜测。我们做网站优化，只是为robots文件做我们应该做的。
比如robots.txt本身就是一个网站文件，也是需要抓取的。蜘蛛爬虫出于效率考虑，一般不会每次抓取一个网站页面之前都抓取robots.txt。Robots.txt并不总是更新。通常，爬虫会爬行一次，解析并缓存。很久都不会再抓取robots.txt了。假设站长更新了robots.txt，修改了一些规则，但对爬虫不会马上生效。只有爬虫下次抓取robots.txt时，才能看到最新的内容。尴尬的是，下一次爬虫抓取robots.txt时，不受站长控制。因此，一些搜索引擎提供了web工具，允许站长通知搜索引擎URL已更改，并建议重新抓取。
如果在机器人协议中加入网站背景，可以用*代替部分字符来保证安全性。
四、什么样的文件可以设置不被蜘蛛抓取？
网站中不需要搜索引擎蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等。
2.2.robots协议文件中设置的所有文件都可以被蜘蛛抓取，不增加网站的收录。程序中一些脚本文件、CSS文件、IMG文件等与网站内容无关的文件也会被蜘蛛抓取，对网站不会有好的效果。你甚至可能会因为认为内容与主题不符而受到惩罚。不值得。
3.过多的蜘蛛抓取所有文件，完全浪费了服务器的资源，导致服务器卡顿，影响用户正常访问。同时也会影响蜘蛛的访问。如果蜘蛛爬行太慢，会认为网站打开太慢，不仅影响整个网站的页面收藏，还会被网站服务器惩罚太慢。
恶意爬虫会带来很多潜在的威胁。比如电商网站的产品信息，可能会被竞争对手抢去使用。太多的爬虫也会占用带宽资源，甚至导致网站宕机。
七。机器人协议的一些不可解决的问题
Robots协议并不是什么先进的技术，而是互联网上所有机构互相尊重的协议。例如，“闲人免进”挂在一个私家花园前。尊重的人绕道走，不尊重的人可以推门而入。目前，Robots协议在实际使用中还存在一些无法解决的问题。
