百度站长平台robots工具升级后的新发现

百度站长平台 robots 在 11 月 27 日全新升级,主要是新增了 2 大功能:

①、可分别显示已生效的 robots 和网站最新的 robots,以便站长自行判断是否需要提交更新:

百度站长平台robots工具升级后的新发现

②、新增 robots 校验功能,从此不再写错规则,把蜘蛛挡在门外:

百度站长平台robots工具升级后的新发现

对此,很多关注互联网的博客网站都已发文分享,而且官方也有具体说明,我就不继续赘述了。

写这篇文章的目的,只要是为了纠正以前的一个 robots 认知错误!记得张戈博客前段时间分享过一篇《浅谈网站使用七牛云存储之后的 robots.txt 该如何设置?》,我在文章分享的七牛镜像域名的 robots 应该如下设置:

百度站长平台robots工具升级后的新发现

本来当时使用百度 robots 检测也是没问题的:

百度站长平台robots工具升级后的新发现

当这次 robots 工具升级之后,我使用新增的【规则校验】功能试了下,竟然是如下结果:

百度站长平台robots工具升级后的新发现

纳尼?最后的禁封难道不起作用了??于是,我试着把禁止规则移动到最前面看看效果:

百度站长平台robots工具升级后的新发现

结果,依然全部允许抓取!!这不科学啊!

想了半天,我看只有一个解释了,那就是百度只看 Baiduspider 标签了,其他的规则它不理睬!难怪之前百度依然会收录我的七牛静态域名:

百度站长平台robots工具升级后的新发现

好吧,上有政策下有对策,对之前的规则稍作修改即可:

# robots.txt for statice domain
User-agent: Baiduspider
Allow: /wp-content/uploads/*.jpg$
Allow: /wp-content/uploads/*.png$
Disallow: /

User-agent: 360Spider
Allow: /wp-content/uploads/*.jpg$
Allow: /wp-content/uploads/*.png$
Disallow: /

User-agent: Baiduspider-image
Allow: /wp-content/uploads/*.jpg$
Allow: /wp-content/uploads/*.png$
Disallow: /

User-agent: 360Spider-Image
Allow: /wp-content/uploads/*.jpg$
Allow: /wp-content/uploads/*.png$
Disallow: /

User-agent: *
Disallow: /

再次检测已经没问题了:

百度站长平台robots工具升级后的新发现

接着,为了验证之前的一个疑问,我进一步测试了下:

百度站长平台robots工具升级后的新发现

从图中的结果可以看出,禁止规则的前后位置,并不影响允许抓取的规则,说明不存在前后优先级!从而推翻了张戈博客旧文章关于前后优先级的说法。而真正的优先级应该是:Allow 高于 Disallow,及【允许规则】高于【禁封规则】。

最后,总结一下。通过本文测试,说明了 2 个问题:

i. 当 robots 中存在百度蜘蛛标签 Baiduspider 时,通用规则将失效!虽然还不知道是不是 robots 升级之后的 bug,为了保险起见,站长在写 robots 的时候,如果存在具体 UA 规则,记得额外加上禁封规则会比较好!

ii. robots 规则并不区分前后优先级,而是 Allow 的优先级大于 Disallow(即[允许规则]>[禁封规则])。

好了,这就是本次百度 robots 工具升级的新发现,希望对你有所帮助!

最新补充:最近测试发现本文所写问题已被百度修复!

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇