如何禁止搜索引擎抓取网站内容

2023-04-13 分类：网站建设

咱们做查找引擎优化都是在想方设法的让查找引擎抓取和录入，可是其实许多状况下咱们还需求制止查找引擎抓取和录入比方，公司内部测试的网站，或许内部网，或许后台登录的页面，必定不期望被外面的人查找到，所以要制止查找引擎抓取。

给咱们发一张制止查找引擎抓取网站的查找成果截图：咱们能够看到，描绘没有被抓取到，而是有一句提示：因为该网站的robotstxt文件存在约束指令（约束查找引擎抓取），体系无法供给该页面的内容描绘。

Robots是站点与spider交流的重要途径，站点经过robots文件声明本网站中不想被查找引擎录入的部分或许指定查找引擎只录入特定的部分。

9月11日，百度查找robots全新晋级晋级后robots将优化对网站视频URL录入抓取状况仅当您的网站包括不期望被视频查找引擎录入的内容时，才需求运用robotstxt文件如果您期望查找引擎录入网站上一切内容，请勿树立robotstxt文件。

如您的网站未设置robots协议，百度查找对网站视频URL的录入将包括视频播放页URL,及页面中的视频文件视频周边文本等信息，查找对已录入的短视频资源将对用户呈现为视频极速体会页此外，综艺影视类长视频，查找引擎仅录入页面URL.

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容