站点页面不想被搜索引擎收录该怎么办

2021-07-23 分类：网站建设

很多时候我们网站中的一些页面不想被搜索引擎收录，哪些页面呢？比如自己网站中内部网站，仅供内容员工使用的网站功能模块，这些模块是我们在网站建设的时候就要做好规划的，这部分我们可以使用ROBOTS的方式让搜索引擎不收录。

robots.txt正确写法

正如前面提到的，一些页面我们不想让百度和google收录，那怎么办？我们可以告诉搜索引擎，和搜索引擎达成一个约定，如果我们按约定那样做了，它们就不要收录，写一个robots.txt文件。

这个写约定的的文件命名为:robots.txt。robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。

网站建设时robots.txt需要注意以下几点：

如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。文件名字必须命名为：robots.txt，都是小写，并且要注意拼写的正确性，robot后面加"s"。很多网站制作的朋友比较大意，拼写错误让工作白做了。

再就是robots.txt必须放置在一个站点的根目录下。如：通过http://www.....cn/robots.txt可以成功访问到，这就说明我们的文件的位置放置正确。一般情况下，robots.txt里只写着两个函数：User-agent和Disallow。有几个需要禁止，就得有几个Disallow函数，并分行描述。至少要有一个Disallow函数，如果都允许收录，则写:Disallow:，如果都不允许收录，则写:Disallow:/（注：只是差一个斜杆）。

以上是成都网站制作公司总结出来的几个要点，针对不允许搜索引擎收录的处理方式，供大家参考。

本文由成都创新互联科技有限公司（www.cdcxhl.com）原创编辑转载请注明。

新闻标题：站点页面不想被搜索引擎收录该怎么办
网站路径：https://www.cdcxhl.com/news42/120042.html

成都网站建设公司_创新互联，为您提供响应式网站、小程序开发、动态网站、面包屑导航、营销型网站建设、标签优化

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容