BaiduSpider对死链的处理
Q:robots屏蔽对阻止百度抓取死链是否有效?
A:当然有效,百度严格遵守robots协议,若发现百度依然抓取,先确认是否为Baiduspider,若确认,可以通过反馈中心进行投诉。
Q:已被百度抓取的死链,可以通过robots屏蔽的方式让百度删除吗?
A:不建议你这样做,最快最有效的方法是通过百度站长平台死链提交工具进行处理。
Q:百度对死链的抓取,对正常文章抓取的影响会有多大。
A:这个没有统一的标准,如果你没有设置robots也没有向百度提交,死链量还特别巨大的时候,有可能会占用你网站大量抓取配额,导致正常内容无法抓取。如果仅仅是spider为了验证死链规则抓一部分,那么对正常内容不会造成影响。
Q:百度对死链的要求是什么?怎么设置死链效果最好?
A:目前百度支持协议死链、内容死链和跳转死链,其中最效果最好的是协议死链。
补充:
- 协议死链百度首推404,尽量不要用其它状态码来代表死链。
- 如果做内容死链一定要设置协议死链,不能返回200状态码,这样蜘蛛会认为是正常的页面。如


要饭二维码
洪哥写文章很苦逼,如果本文对您略有帮助,可以扫描下方二维码支持洪哥!金额随意,先行谢过!大家的支持是我前进的动力!

文章的版权
本文属于“洪哥笔记”原创文章,转载请注明来源地址:BaiduSpider死链处理:http://www.splaybow.com/post/170928151020192354.html
如果您在服务器运维、网络管理、网站或系统开发过程有需要提供收费服务,请加QQ:8771947!十年运维经验,帮您省钱、让您放心!
亲,如果有需要,先存起来,方便以后再看啊!加入收藏夹的话,按Ctrl+D!
发布时间:2019/10/15 17:09:28 | 编辑:顾松 | 分类:SEO | 浏览: