标签: robots插件

3 篇文章

浅谈网站使用七牛云存储之后的robots.txt该如何设置?
最近因为稳定性考虑,我的 2 个网站都脱离了 360 网站卫士的阵营,准备单飞。昨天在模拟 CC 攻击自己网站的时候,发现十来个并发就扛不住了! 分析了一下原因,在没开启 360CDN 缓存的情况下,10 个并发攻击,硬件配置肯定是没问题的,那么无法访问的原因很明显就是带宽不够! 现在我的服务器带宽已经升级到了 2M,也就是峰值 250kb/s 的…
发现插件生成的robots.txt不能被谷歌和360识别
上次通过《正确的 Win 主机网站伪静态设置方法》重新设置了玛思阁的伪静态,当时由于使用 Rewrite robots 没有效果,就安装了一个生成 robots.txt 的插件,然后发现访问 robots 地址也有了指定的内容。几天却发现 360 全部被 K,仅剩首页,而谷歌也不再收录新页面,一直以为是我的 robots 内容有误,于是搜来搜去,改…
纠正静态文件域名robots写法,解决百度搜索不显示缩略图的问题
可能有部分站长用了七牛 CDN 之后,会发现在搜索引擎搜索的结果中缩略图越来越少,甚至消失。。。经过张戈多次思考分析,发现居然是因为使用了七牛 CDN 导致的,本文就简单分享下这个坑。 在此之前,张戈博客曾 2 次分析过网站使用七牛 CDN 之后,静态二级域名 robots 的写法: 百度站长平台 robots 工具升级后的新发现 浅谈网站使用七牛…