在蜘蛛實(shí)際抓取網(wǎng)頁(yè)的過(guò)程中,因?yàn)榫W(wǎng)頁(yè)內(nèi)容的復(fù)雜性(文本、Fash、視頻等)和技術(shù)實(shí)現(xiàn)的多樣性(純靜態(tài)、動(dòng)態(tài)加載等),為了更高效地利用蛛蛛資源,搜索引擎公司會(huì)置頂不同的抓取策略,作為
阜陽(yáng)網(wǎng)站優(yōu)化人員,可以參考搜素引擎公司對(duì)抓取策略的描述,采用最大化的SEO方法。
作為國(guó)內(nèi)最大的搜索引擎公司,百度在它的官方文檔中是如下這樣描述抓取策略的�；ヂ�(lián)網(wǎng)資源具有庇大的數(shù)量級(jí),這就要求抓取系統(tǒng)盡可能高效地利用帶寬,在有限的硬件和帶寬資源下盡可能多地抓取到有價(jià)值的資源。這就造成了另—個(gè)問(wèn)題,耗費(fèi)被抓取網(wǎng)站的帶寬造成訪問(wèn)壓力如果程度過(guò)大,將直接影響被抓取網(wǎng)站的正常用戶訪問(wèn)行為。
因此在抓取過(guò)程中要進(jìn)行一定的抓取壓力控制,實(shí)現(xiàn)既不影響網(wǎng)站的正常用戶訪問(wèn),又能盡量多地抓取到有價(jià)值資源的目標(biāo)。通常情況下,采用的最基本的方法是基于|P的壓力控制。這是因?yàn)槿绻谟蛎?可能存在一個(gè)域名對(duì)多個(gè)iP(很多大網(wǎng)站)或多個(gè)域名對(duì)應(yīng)同一個(gè)P(小網(wǎng)站共享iP)的問(wèn)題。實(shí)際工作中,往往根據(jù)iP及域名的多種條件進(jìn)行壓力控制。同時(shí),站長(zhǎng)平臺(tái)也推出了壓力反饋工具,站長(zhǎng)可以人工調(diào)配對(duì)自己網(wǎng)站的抓取壓力,這時(shí) Baiduspider將優(yōu)先按照站長(zhǎng)的要求進(jìn)行抓取壓力控制.
對(duì)同一個(gè)站點(diǎn)的抓取速度控制一般分為兩類:其一,一段時(shí)間內(nèi)的抓取頻率;其二,一段時(shí)間內(nèi)的抓取流量。此外
阜陽(yáng)網(wǎng)站優(yōu)化公司告訴大家同一站點(diǎn)不同的時(shí)間抓取速度也會(huì)不同,例如,夜深人靜的時(shí)候抓取的可能就會(huì)快一些。也視具體站點(diǎn)類型而定,主要思想是錯(cuò)開(kāi)正常用戶訪問(wèn)高峰,不斷地調(diào)整。對(duì)于不同站點(diǎn),也需要不同的抓取速度。
