百度严格遵循搜索引擎Robots协议您可以设置一个Robots文件以限制您的网站全部网页或者部分目录下网页不被百度收录。具体写法，参见：如何撰写Robots文件。如果您的网站在被百度收录之后才设置Robots文件禁止抓取，那么新的Robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。需要注意的是，robots.txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的时间。如果您的拒绝被收录需求非常急迫，可以在反馈中心反馈，我们会尽快处理。方法/步骤1/5分步阅读

设置一个Robots文件

限制网站的全部网页或者部分目录下网页不被百度收录。

具体写法，参见：如何撰写Robots文件。

2/5

如何撰写Robots文件

看到很多网站都没有robots文件，那么一个常规的robots.txt文件应该要这么写呢，小编明天给大家来说说robots.txt怎样写,robots文件常规的写法。

下图是小编的robots文件，小编先给大家解释一下其中的写法。

1、允许一切搜索引擎拜候 User-agent: * Allow:

2、制止一切搜索引擎拜候 User-agent: * Disallow: /

3、网站地图：Sitemap:

哪些页下面要用robots.txt屏蔽

明白怎样写了吗，但很多站长朋友还是不晓得哪些页下面需求屏蔽，让搜索引擎不被访问，其实很复杂，不想被搜索引擎抓取的页下面就屏蔽，那么哪些页下面是我们不想被搜索引擎抓取的呢。

空白页下面：什么是空白页下面，比如注册页下面、联络我们、关于我们等页下面属于空白页下面，由于这种页下面在搜索引擎看来是没有意义的，没有人会搜索注册离开你的网站。

后台页下面：后台是不被搜索引擎收录的，所以我们需求robots屏蔽后台登陆页下面。

静态页下面：通常状况下，我们网站都会做伪静态，那么静态页下面我们会屏蔽掉。

总结：robots文件有必要写，一来给搜索引擎做个更好的第一印象，其次是给搜索引擎做一个网站地图。

3/5

新的Robots文件一般在2天内生效

如果您的网站在被百度收录之后才设置Robots文件禁止抓取，那么新的Robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。即网络爬虫不会检索屏蔽的页面内容

4/5

禁止收录以前百度已收录的内容

需要注意的是，robots.txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的时间。因为百度服务器有区域备份，多个服务器之间需一段时间才能完成同步更新。

5/5

拒绝被收录需求非常急迫

如果您的拒绝被收录需求非常急迫，可以在反馈中心反馈，我们会尽快处理。

以上信息是否解决了您的问题

反馈中心网址：https://ziyuan.baidu.com/feedback#/

注意事项

以上信息是否解决了您的问题，欢迎留言讨论！！

百度收录屏蔽