(電子商務(wù)研究中心訊) 1：從種子站點(diǎn)開始抓取
基于萬維網(wǎng)的蝴蝶型結(jié)構(gòu)，這種非線性的網(wǎng)頁組織結(jié)構(gòu)，就會(huì)出現(xiàn)一個(gè)抓取順序的問題，這種抓取順序的策略必須保證盡可能地抓取所有網(wǎng)頁。
一般來說，爬蟲選擇抓取蝴蝶型左邊的結(jié)構(gòu)為抓取出發(fā)點(diǎn)，典型的如sina.com和sohu.com這樣的門戶網(wǎng)站的主頁，每次抓取網(wǎng)頁之后分析其中的URL，這種字符串形式的鏈接是指向其他網(wǎng)頁的URL，它們指引著爬蟲抓取其他網(wǎng)頁。(基于這點(diǎn)我們可以初步理解引擎先左后右，先上后下的抓取原因了)
a:深度優(yōu)先的策略(Depth-First Traversal)
深度優(yōu)先的遍歷策略類似家族繼承策略，典型的如封建帝王的繼承，通常為長子，如果長子去世，長孫的優(yōu)先級(jí)大于次子的優(yōu)先級(jí)(這點(diǎn)大家多多仔細(xì)分析琢磨下)，如果長子和長孫都已經(jīng)去世，那么次子繼承，這種繼承上的優(yōu)先關(guān)系也稱深度優(yōu)先策略。(從這點(diǎn)上我們可以了解到蜘蛛的抓取欄目頁先后順序)
b:寬度優(yōu)先的策略(Breadth-First Traversal)
寬度優(yōu)先我們又稱為廣度優(yōu)先，或者叫層次優(yōu)先，例如：我們在給祖輩和父輩還有平輩敬茶的時(shí)候先給最年長的祖輩，其次為父輩，最后為平輩，在爬蟲抓取上也采取了這樣的策略。基于使用寬度有限的策略主要原因有三點(diǎn)：
1>首頁重要的網(wǎng)頁往往離種子比較近，例如我們打開新聞?wù)镜臅r(shí)候往往是最熱門的新聞，隨著不斷的深入沖浪，PV值增加，所看到網(wǎng)頁重要性越來越低。
2>萬維網(wǎng)的實(shí)際深度最多能達(dá)到17層，到達(dá)某個(gè)網(wǎng)頁的路徑深入很多，但是總存在一條很短的路徑。
3>寬度優(yōu)先有利于多爬蟲的合作抓取(Mozk是根據(jù)前輩的資料分析和IIS日志分析，暫且認(rèn)為，有不同見解，歡迎討論交流)，多爬蟲合作通常先抓取站內(nèi)連接，遇到站外連接然后開始抓取，抓取的封閉性很強(qiáng)。
附：鏈接的優(yōu)化，避抓取鏈接的死循環(huán)，同時(shí)也避免該抓取的資源沒有得到抓取，浪費(fèi)大量的資源做無用功。(如何建立合理的內(nèi)部鏈接可以參照小站)。
2：網(wǎng)頁抓取優(yōu)先策略
網(wǎng)頁的抓取優(yōu)先策略也稱為“面頁選擇問題”(page selection)，通常抓取重要性的網(wǎng)頁，這樣保證有限資源(爬蟲，服務(wù)器負(fù)載)盡可能的照顧到重要性高的網(wǎng)頁，這點(diǎn)應(yīng)該很好理解。
那么哪些網(wǎng)頁才是重要性的網(wǎng)頁呢?
網(wǎng)頁的重要性判斷因素很多，主要有鏈接歡迎度(知道鏈接的重要性了吧)，鏈接的重要度和平均深度鏈接，網(wǎng)站質(zhì)量，歷史權(quán)重等主要因素。
鏈接的歡迎度主要是由反向鏈接(backlinks)的數(shù)量和質(zhì)量決定，我們定義為IB(P)。
鏈接的重要度，是一個(gè)關(guān)于URL字符串的函數(shù)，僅僅考察字符串本身，比如認(rèn)為“.com”“home”的URL重要度比“.cc”和“map”較高(這里是比方不是絕對，就如我們通常默認(rèn)首頁index.**一樣，要定義其他名稱也可以，另外排名是個(gè)綜合因素，com的不一定排名就好，只是其中一個(gè)很小的因素而已),我們定義為IL(P)
平均連接深度，個(gè)人鄙見，根據(jù)上面所分析的寬度優(yōu)先的原則計(jì)算出全站的平均鏈接深度，然后認(rèn)為距離種子站點(diǎn)越近重要性越高。我們定義為ID(P)
我們定義網(wǎng)頁的重要性為I(P)
那么：
I(p)=X*IB(P)+Y*IL(P)
ID(P)由寬度優(yōu)先的遍歷規(guī)則保證，因此不作為重要的指標(biāo)函數(shù)，為了保證重要性高的網(wǎng)頁被抓取，所以，這樣的抓取完全是合理，科學(xué)的。
本文的第1點(diǎn)是講解的一個(gè)點(diǎn)，第二點(diǎn)是分析的一個(gè)面，文筆不怎么好，大家多多體會(huì)下。
SEO的目標(biāo)是提高網(wǎng)站的質(zhì)量，提高網(wǎng)站的質(zhì)量是提高網(wǎng)站用戶體驗(yàn)友好度，提高網(wǎng)站用戶優(yōu)化度的終極目標(biāo)是離開SE做常青樹，以上是Mozk的鄙見，畢竟SEO是一個(gè)排名的逆向推理過程，不可能全對，只是對數(shù)據(jù)的一種分析，任何資料只能是參考，還是要多靠自己的實(shí)踐.（編選：網(wǎng)經(jīng)社）
