文章目录 [+]
因为网站问题需要删除一些垃圾页面是常有事情,但是问题来了,如果是收录的链接,则需要提交死链,并且做好404,百度官方也回答到,没有被收录的链接影响不大,可以不用提交,但是经过二胡测试发现,就算这条链接以前没有被收录,而且已经删除掉了,但是site出来的数据还是有可能会存在,百度还真的是套路!那么这是为什么呢?
因为百度在抓取爬行的实收会建立一个已抓取链接列表和待抓取url列表,如果百度访问新的url,会先拿着写新的url和已抓取列表做对比,如果已抓取列表不存在这个链接,则放入带抓取列表等待抓取,如果有,则放弃,已经抓取的链接,虽然没有被收录,但是并不代表以后不会收录,在这里,我们可以用日志工具查看一下,自己的链接有没有被百度蜘蛛抓取过就知道了,所以在这里我觉得最好的方式还是设置好404,然后统计所有的死链提交给百度后台,
还没有评论,来说两句吧...
发表评论中国互联网举报中心