在上文中小編為大家講解了網站優化教程中搜索引擎蜘蛛的分類，下面，悅哥網站優化小編為大家介紹搜索引擎蜘蛛的抓取方式。

對于搜索引擎來說,要抓取互聯網上所有的網頁幾乎是不可能的。從目前公布的數據來看,容量大的搜索引擎也不過抓取了整個互聯網網頁數量的40%左右。其中的原因,一方面是抓取技術的瓶頸,無法遍歷所有的網頁,許多網頁無法從其他網頁的鏈接中找到;另一方面是存儲技術和處理技術的問題。如果按照每個頁面20KB計算(包含圖片),100億個網頁的容量是100×2000GB。即使能夠存儲,下載也存在問題(按照一臺機器每秒下載20KB計算,需要240臺機器不停地下載一年,才能把所有網頁下載完畢)。

同時,由于數據量太大,在提供搜索時也會有效率方面的影響。因此,許多搜索引擎的蜘蛛程序只抓取那些重要的網頁,而在抓取時主要依據某個網頁的鏈接深度來評價其重要性。

在抓取闕頁的時候,搜索引擎蜘蛛一般有兩種策略,分別是廣度優先和深度優先,如圖1所示。廣度優先是指搜索引擎蜘蛛會先抓取起始網頁中鏈接的所有網頁,然后選擇其中的一個鏈接網頁,繼續抓取在此網頁中鏈接的所有網頁。這是最常用的方法,因為這個方法可以讓搜索引擎蜘蛛并行處理,以提高其抓取速度。深度優先是指搜索引擎蜘蛛會從起始頁開始,一個鏈接一個鏈接跟蹤下去,處理完條線路之后再轉入下一個起始頁,繼續跟蹤鏈接。這個方法有個優點是搜索引擎蜘蛛的設計比較簡單。

由于不可能抓取所有的網頁,所以有些搜索引擎蜘蛛對一些不太重要的網站設置了訪問的層數。如圖1所示,A為起始網頁,屬于第0層,B、C、D、E、F屬于第1層,G、H屬于第2層,I屬于第3層。如果搜索引擎蜘蛛設置的訪問層數為2,網頁I將不會被訪問。這也導致有些網站的一部分網頁能夠在搜索引擎上搜索到,而另外一部分無法搜索到。對于網站設計者來說,扁平化的網站結構設計有助于搜索引擎抓取其更多的網頁。

搜索引擎蜘蛛在訪問網站網頁的時候,經常會遇到加密數據和網頁權限的問題,有些網頁是需要會員權限才能訪問的。當然,網站的所有者可以通過協議讓搜索引擎蜘蛛不去抓取,但對于一些出售報告的網站,它們希望搜索引擎能搜索到它們的報告,但又不想讓搜索者完全免費地查看,這樣就需要給搜索引擎蜘蛛提供相應的用戶名和密碼。搜索引擎蜘蛛可以通過所給的權限對這些網頁進行抓取,從而提供搜索。而當搜索者查看該網頁的時候,同樣需要進行相應的權限驗證。

以上就是本次小編為大家分享的關于網站優化教程中搜索引擎蜘蛛的抓取方式的內容，本文主要內容來源于網絡，由小編整理發布，如有侵權請聯系本網站，謝謝!