云南网站建设 13608843679云南商城开发

Baiduspider 主要抓取策略类型

————————————咨询电话:13608843679
点击统计:100  发布时间:2018-10-28 04:06:48
  Baiduspider主要抓取策略类型

  Baiduspider在抓取过程中面对的是一个超级复杂的网络环境,为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,会设计多种复杂的抓取策略。以下做简单介绍:
百度链接抓取原则
  1、抓取友好性

  互联网资源庞大的数量级,这就要求抓取系统尽可能的高效利用带宽,在有限的硬件和带宽资源下尽可能多的抓取到有价值资源。这就造成了另一个问题,耗费被抓网站的带宽造成访问压力,如果程度过大将直接影响被抓网站的正常用户访问行为。因此,在抓取过程中就要进行一定的抓取压力控制,达到既不影响网站的正常用户访问又能尽量多的抓取到有价值资源的目的。

  通常情况下,基本的是基于ip的压力控制。这是因为如果基于域名,可能存在一个域名对多个ip(很多大网站)或多个域名对应同一个ip(小网站共享ip)的问题。实际中,往往根据ip及域名的多种条件进行压力调配控制。同时,站长平台也推出了压力反馈工具,站长可以人工调配对自己网站的抓取压力,这时百度spider将优先按照站长的要求进行抓取压力控制。

  对同一个站点的抓取速度控制一般分为两类:其一,一段时间内的抓取频率;其二,一段时间内的抓取流量。同一站点不同的时间抓取速度也会不同,例如夜深人静月黑风高时候抓取的可能就会快一些,也视具体站点类型而定,主要思想是错开正常用户访问高峰,不断的调整。对于不同站点,也需要不同的抓取速度。

  2、常用抓取返回码示意

  简单介绍几种百度支持的返回码:

  1)常见的404代表“NOTFOUND”,认为网页已经失效,通常将在库中删除,同时短期内如果spider再次发现这条url也不会抓取;

  2)503代表“ServiceUnavailable”,认为网页临时不可访问,通常网站临时关闭,带宽有限等会产生这种情况。对于网页返回503状态码,百度spider不会把这条url直接删除,同时短期内将会反复访问几次,如果网页已恢复,则正常抓取;如果继续返回503,那么这条url仍会被认为是失效链接,从库中删除。

  3)403代表“Forbidden”,认为网页目前禁止访问。如果是新url,spider暂时不抓取,短期内同样会反复访问几次;如果是已收录url,不会直接删除,短期内同样反复访问几次。如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条url也会被认为是失效链接,从库中删除。

  4)301代表是“MovedPermanently”,认为网页重定向至新url。当遇到站点迁移、域名更换、站点改版的情况时,我们推荐使用301返回码,同时使用站长平台网站改版工具,以减少改版对网站流量造成的损失。

  3、多种url重定向的识别

  互联网中一部分网页因为各种各样的原因存在url重定向状态,为了对这部分资源正常抓取,就要求spider对url重定向进行识别判断,同时防止作弊行为。重定向可分为三类:http30x重定向、metarefresh重定向和js重定向。另外,百度也支持Canonical标签,在效果上可以认为也是一种间接的重定向。

  4、抓取优先级调配

  由于互联网资源规模的巨大以及迅速的变化,对于搜索引擎来说全部抓取到并合理的更新保持一致性几乎是不可能的事情,因此这就要求抓取系统设计一套合理的抓取优先级调配策略。主要包括:深度优先遍历策略、宽度优先遍历策略、pr优先策略、反链策略、社会化分享指导策略等等。每个策略各有优劣,在实际情况中往往是多种策略结合使用以达到优的抓取效果。

  5、重复url的过滤

  spider在抓取过程中需要判断一个页面是否已经抓取过了,如果还没有抓取再进行抓取网页的行为并放在已抓取网址集合中。判断是否已经抓取其中涉及到核心的是快速查找并对比,同时涉及到url归一化识别,例如一个url中包含大量无效参数而实际是同一个页面,这将视为同一个url来对待。

  6、暗网数据的获取

  互联网中存在着大量的搜索引擎暂时无法抓取到的数据,被称为暗网数据。一方面,很多网站的大量数据是存在于网络数据库中,spider难以采用抓取网页的方式获得完整内容;另一方面,由于网络环境、网站本身不符合规范、孤岛等等问题,也会造成搜索引擎无法抓取。目前来说,对于暗网数据的获取主要思路仍然是通过开放平台采用数据提交的方式来解决,例如“百度站长平台”“百度开放平台”等等。

  7、抓取反作弊

  spider在抓取过程中往往会遇到所谓抓取黑洞或者面临大量低质量页面的困扰,这就要求抓取系统中同样需要设计一套完善的抓取反作弊系统。例如分析url特征、分析页面大小及内容、分析站点规模对应抓取规模等等。



转载自:沙漠风

信息推荐

————————————

● 网站内部结构改版需要注意几点以免影响排名点击统计:59 发布时间:2019-04-01 07:28:42

  在网站内容主题没有发生变化的情况下,随着网站的建设和个人经验的成熟,很多人不得不面对这样一个问题,网站结构改版因为种种原因必须得改,不改的话弊大于利。那么小编在这里郑重提示,不到万不得已,不要进行大规模的网站结构改版,更不要说更换网站内容主题这种自杀式的作法了。既然聊到了网站结构改版,那么就需要注意一下几点。不然不如重新建个新站。    网站结构改版通常上是说网站整体的架构和页面设计需要进行比较大的改动。  第一:要明确网站建设只是页面设计需要改版还是改用新的CMS系统,如果只是页

● 网站建设对企业的作用巨大点击统计:59 发布时间:2018-12-04 21:50:10

  在现代社会当中,网络已经不断的发展起来了,可以说网站已经成为了人们的生活当中的一个不可或缺的一个方面了,很多的企业也都开始进行自己的网站建设工作了。可以说网站建设对于一个企业来讲具有的作用是非常大的,那么具体有哪些体现呢?  一、实现网上宣传  网站建设可以帮助一个企业更好的去做网上宣传工作,通过网站企业可以更好的利用自己的网站来为自己做更好的推广和宣传。在现实审过中,很多的专业的网络服务上面都会在网络上面开设专门汇总相关信息的大型服务系统,面向广大的企业来提供广告相关的服务业务,

● 微信小程序裂变玩法,你gat到了吗?
点击统计:59 发布时间:2018-11-26 21:48:18

2018年,可谓是小程序的风口。坐拥10亿用户的微信,同期拥有4亿的小程序月活用户,俨然移动端的大流量入口。随着小程序数量的日益增长,很多商家反馈说,开了小程序这么久,交易额却很低,也不知道怎么玩。下面我们总结了一下这一年内小程序的裂变玩法,希望能让你有些思路。1、功能裂变所谓的功能裂变就是小程序拥有这些能够为我们做裂变的功能,比方说像是腾讯的社交立减金、卡券跳转,还有小程序码都是大部分行业都能用来做裂变的功能。2、活动裂变活动裂变一般分为两种。1、策划有用的活动策划一场有用的活动,结合公众号推

● 网站设计公司和互联网广告公司有什么区别
点击统计:59 发布时间:2018-11-05 11:48:00

很多人分不清网站设计公司和互联网广告公司,认为是一回事,还有看到互联网广告公司里也有设计部门,就认为网站设计公司是小型的广告公司这些都是不正确的观点。网站设计公司和互联网广告公司干的根本不是同样的活,它们在商业活动中所处的位置也不同。其实客户们也经常把种公司的功能搞混,胡乱用人胡乱做事,让公司的事情变得很糟糕不但浪费了老板的钱,还浪费了太家的时间。设计和广告都是商业社会里商品流通环节中必不可少的部分,但是他们所处的位置、发挥的作用都不一样,以至于他们工作的方式状态、方法、目的往往大相径庭。要想了

● 营销型网站有什么特点?什么是营销型网站
点击统计:59 发布时间:2018-11-04 06:51:36

      当今社会已经是全民营销的社会,作为企业网站,更需要注重网站的营销性,网站无营销,一切等于零。因此做营销型网站已经是企业刻不容缓的任务。  什么是营销型网站?  营销型网站是指以现代“网络营销”理念为核心,以“用户体验度”为中心,能更好的将企业的产品宣传出去,达到营销的效果。营销型网站应该具备:简单、方便操作,经过简单培训,即可熟悉后台,操作方便,更新及时将企业动态、活动等信息随时发布。  营销型网站建设的四大优势  一、具有全网络的营

● 一个企业没有网站将会有哪些损失点击统计:59 发布时间:2018-10-17 15:54:37

  现在的互联网发展速度十分快,每隔一段时间就会有新的东西出来,像现在很多传统企业都开始进军互联网市场,一些企业觉得说网站不是特别重要,他们压根就没有打算企业网站建设,如果一个企业没有企业网站,将会损失下面。  1、企业失去互动性  现在的企业网站不当只是展示企业内容的平台,还有一个特别重要功能那就是互动性,比如说企业用户想要购买一件产品但是对这个产品还有疑问,那么这个时候良好的方法就是进入到企业官方网站当中找客服在线咨询,如果企业连网站都没有,那么用户想要的答案就没有着落,自然会导致

● 多页网站与单页网站设计如何选择                点击统计:60 发布时间:2019-04-02 12:40:35

                       随着移动端和社交媒体的兴起,简单且迅速响应的单页网页设计,成为目前网页设计的流行趋势之一;但传统的多页设计也因为使用广泛,而受到广大的用户所认可,这使得很多网页设计师在选择网页布局时非常头痛,今天我们为大家分享一些单页网页设计与多页网站设计的优势与劣势分析,希望可以给大家网站设计带来灵感与帮助。    1.现在,网页设计整体趋向于单页网站设计。这种趋势是由于对追求简单和速度的推动。简单的单页网站也是一种很好的响应式设计,并且可以适应所有设备。当然,也

● 要怎样推广网站?方法有哪些?点击统计:60 发布时间:2019-03-29 06:29:32

  网站的营销推广在个人网站的运营中起着重要的作用,在推广个人网站之前,请确保网站的信息内容丰富、准确、及时;同时还要保证网站技术具有一定的专业水平,网站的互动性能良好,下面我们就来看下到底要怎样推广网站?  1.广告之间的交换技巧  许多个人网站在相互交换广告时提出了几个条件:第一,访问量相等;第二,主页交换。显然,这种方法是充分利用广告交换的技巧。与一个个人网站的交换外链时,另一方把网站的标识放在友情链接页面上,而不是主页上,如果是这样的话就很少有访问者会从内容页或列表页那里来。因

● 小微公司网站建设方法分享                点击统计:60 发布时间:2019-03-18 22:06:51

                       随着互联网的飞速发展,为企业建立一个属于自己的网站成为了企业所必须要做的事情,大家可以从互联网上获取到各种自己想要的信息,尤其是可以为企业带来潜在的意向客户,实现更大化的利益。如果想要成为本行业的领先者,那么就要抓住机会,为自己的企业建立一个有特色、多功能的企业网站。刚成立的小公司在建设企业网站的时候需要考虑很多的因素,不能制作跟自身企业不相符的网站,这样可能在实际使用过程中所能够发挥的一些作用就不明显,所以,在很多细节上还是需要详细的来介绍,我们就

● 企业网站建设之后该如何维护点击统计:60 发布时间:2018-12-07 20:31:21

  的确存在很多企业,在将自己的网站建设好之后都不知道该怎么进行维护,如果网站仅仅是建立好,然后后期完全不搭理这个网站等于白做。所以企业网站建设维护,两者是息息相关,离不开的。每一个网站在建设好之后,一定要进行及时的维护和更新,才能够长久的发展。  一、宣传营销  所有的网站在建立之初基本上都鲜为人知,所以一定要进行推广和宣传方法有很多种,有的需要花钱,有的可以不要花钱,但是不管通过哪种方式去宣传,一定要线上线下同时进行,宣传力度越大,被越多的人看到的可能性就更大。这样每天网站的访问和
返回首页
返回首页
拨打电话
拨打电话
短信咨询
短信咨询