robots.txt使用时的注意事项

robots.txt文件同时也有一定的风险，里面的隐私文档最好不要写在里面，否则的话容易给攻击者指明了网站的目录结构和私密数据所在的位置。设置访问权限，对您的隐私内容实施密码保护，这样，攻击者便无从进入。

　　1)robots.txt必须放置在站点的根目录下，而且文件名必须全部小写。

　　2)不要在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取。

　　3)为安全考虑，建议很重要的文件夹不要写在robots.txt文件中。

　　常见搜索引擎蜘蛛Robots名字：

　　百度Baiduspider ：http://www.baidu.com

　　360搜索360Spider：https://www.so.com/

　　SOSOSosospider：https://www.sogou.com/

　　有道YoudaoBot/YodaoBot：http://www.yodao.com/

　　搜狗Sogou News Spider：https://www.sogou.com/

　　MSNmsnbot/msnbot-media：http://www.msn.com/zh-cn

　　谷歌Googlebot ：http://www.google.com

　　雅虎Inktomi Slurp ：http://www.yahoo.com

　　必应MSNBOT ：http://search.msn.com

分享标题：robots.txt使用时的注意事项
网页路径：https://www.cdcxhl.com/news/162557.html

成都网站建设公司_创新互联，为您提供网站内链、搜索引擎优化、企业建站、软件开发、企业网站制作、微信小程序

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联