每天有数以万计的URL,被搜索引擎爬行与抓取,它透过互(hù)相链接(jiē),构成了我们(men)现存(cún)的(de)互联(lián)网(wǎng)关系,对于seo人(rén)员(yuán),我们经常会谈论一个名(míng)词:网站抓(zhuā)取频率。
认为网站抓取频(pín)率在SEO日(rì)常(cháng)工作中,扮演着重要的角色,并且给网站优化,提供了宝贵的建议。
那么,网站(zhàn)抓取(qǔ)频率,对(duì)SEO有哪些(xiē)重要意(yì)义(yì)?
根据以往的工作经验,我们知道网(wǎng)页收录的一个基本流程主(zhǔ)要是:
抓(zhuā)取(qǔ)URL->内容质量(liàng)评估->索(suǒ)引库筛选->网页(yè)收录(在搜索结(jié)果中(zhōng)展现)
其中,如果你的内(nèi)容质量(liàng)相(xiàng)对较低,就会被直(zhí)接放(fàng)入低(dī)质量索引库,那么,它就很难被(bèi)百度收(shōu)录,从这个流程不难(nán)看出,网站的抓取频率,将直接影(yǐng)响站点的收录率与内容质(zhì)量评估(gū)。
影响网站抓取频率的因素:
① 入(rù)站(zhàn)链接:理论上只要是外链,无论它的(de)质量、形态如何(hé),都会起(qǐ)到引导蜘蛛爬行抓取的作用。
② 网站结构:建站(zhàn)优选短域名,简化(huà)目录层级,避免URL过长,以及出现过多动态(tài)参(cān)数。
③ 页面速度:移动优先索(suǒ)引(yǐn),已(yǐ)经不止一次被百度提及,其(qí)中最重要的(de)指标就是页面首次(cì)加载(zǎi),控(kòng)制在3秒内。
④ 主动提交(jiāo):网站(zhàn)地图、官方API提交、JS访问提交等。
⑤ 内容(róng)更新:优质内容的更新频(pín)率,大型网站排名的(de)核心(xīn)因素。
⑥ 百度熊掌(zhǎng)号:如果你的网站配置(zhì)熊掌号,在内容(róng)足够优质的前提下,抓取(qǔ)率几乎达到100%。
如何查看网站抓(zhuā)取(qǔ)频率:
① CMS系统自(zì)带的“百度蜘(zhī)蛛”分析插(chā)件(jiàn)。
② 定期做(zuò)“网站(zhàn)日志分析”这个(gè)方法相对便捷。
页(yè)面抓取对网站(zhàn)的影响:
1、网(wǎng)站(zhàn)改(gǎi)版
如(rú)果你的网站(zhàn)升级改版,并(bìng)且针对部分URL进行了(le)修正,那么(me)它可能急需搜索引擎抓(zhuā)取(qǔ),重新对页面(miàn)内容进行(háng)评估。
这个时候其(qí)实有一(yī)个便(biàn)捷的小技巧:那就是主(zhǔ)动添加URL到(dào)sitemap,并(bìng)且在百(bǎi)度后台更新,第一时间告知搜(sōu)索引擎它的(de)变化。
2、网站排名
大部分站长(zhǎng)认为,自(zì)百度熊(xióng)掌号上(shàng)线以来,它(tā)解决了收录问题,实(shí)际上目(mù)标(biāo)URL,只有不停的被抓(zhuā)取,它才可以不断(duàn)的重新评估权重,从而提升排名。
因此,当你有需要参(cān)与排名的页面,你(nǐ)有必要将其(qí)放在抓取频率较高(gāo)的栏目。
3、压(yā)力控(kòng)制
页面抓取频率高(gāo)并非就一定好,来自恶意的采集爬虫,它经常(cháng)造成服务(wù)器资源的严重浪费,甚至(zhì)宕机,特别(bié)是一些外链分(fèn)析爬虫(chóng)。
有必要的情况下(xià),可能需要(yào)合理的利(lì)用Robots.txt进行有效屏蔽。
4、异常诊断
如果你长(zhǎng)期发(fā)现(xiàn)某个页面不(bú)被收(shōu)录,那(nà)么你有必要(yào)了解其:百度蜘蛛的可访(fǎng)问性,你可以借助(zhù)百度官方后台的(de)抓取诊断,查看相关具体原(yuán)因。
总结:页面(miàn)抓取频率对索引(yǐn)、收录、排名、二次排名,有着至关重(chóng)要的作用,作为SEO人员,可能需要适(shì)度关注,上述内容,仅供参(cān)考(kǎo)。