蜘蛛爬取網站的基本方式
2020-01-18 分類： 網站建設
為抓取到網站上盡量多的頁面，搜索引擎蜘蛛會跟蹤網頁上的鏈接，從一個頁面爬到下一個頁面，這和蜘蛛在蜘蛛網上爬行是一樣的，這也就是搜索引擎機器人稱為蜘蛛的由來。
整個互聯網是由相互鏈接的網站及頁面組成的。從理論上說，蜘蛛可以從任何一個頁面出發，順著鏈接可以爬行到網上任何一個頁面。當然，由于網站及頁面鏈接結構異常復雜， 蜘蛛需要采取一定的爬行策略才能行走于整個互聯網海洋。
通常搜索引擎蜘蛛爬行遍歷策略分有兩種，一種是深度優先，另一種是廣度優先。
所謂深度優先，指的是蜘蛛沿著發現的鏈接一直向前爬行，直到前面再也沒有其他鏈接，正所謂不撞南墻；然后返回到第一個頁面，沿著另一個鏈接再一直往下爬行。
如圖1所示，蜘蛛跟蹤鏈接，從A頁面爬行到Al，A2, A3，A4,到A4頁面后， 己經沒有其他鏈接可以跟蹤就返回A頁面，順著頁面上的另一個鏈接，爬行到Bl，B2, B3, B4。在深度優先策略中，蜘蛛一直爬到這個鏈接的盡頭，在返回到起點，爬向另一條鏈接。
廣度優先是指蜘蛛在一個頁面上發現多個鏈接時，不是順著一個鏈接一直向前，而是把頁面上所有第一層鏈接都爬一遍，然后再沿著第二層頁面上發現的鏈接爬向第三層頁面。
如圖2所示，蜘蛛從A頁面順著鏈接爬行到Al，Bl, C1頁面，直到A頁面上的所 有鏈接都爬行完，然后再從A1頁面發現的下一層鏈接，爬行到A2, A3, A4,……頁面。
本文標題：蜘蛛爬取網站的基本方式
網頁鏈接：http://www.js-pz168.com/news21/81221.html
成都網站建設公司_創新互聯，為您提供移動網站建設、網頁設計公司、ChatGPT、網站收錄、外貿網站建設、關鍵詞優化
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 常見的搜索引擎蜘蛛 2020-01-18
- SEO是什么？ 2020-01-17
- 從客戶習慣添加關鍵詞 奇跡就在眼前 2020-01-17
- 關鍵詞選擇決定網站優化中的成敗 2020-01-16
- 關鍵詞長期穩居百度第一的兩個秘訣 2020-01-15
- 鹽城網站優化之URL標準化實現辦法 2020-01-15
- 營銷型網站對網頁的5個基本要求 2020-01-14
- 做SEO的重要性 2020-01-18
- 成都網絡公司哪家更好？ 2020-01-17
- 鹽城網站托管助力鹽城企業網絡營銷 2020-01-16
- 網易淡出搜索引擎業務 有道全面進入360時代 2020-01-16
- 營銷型網站的3大特征 2020-01-15
- 成都網站優化之 網站錯誤頁面即404頁面 2020-01-15
- 成都網站優化之URL標準化規范 2020-01-15
- 提高網站被百度抓取的3個必須 2020-01-14
- 上海網站建設公司：把握網絡推廣效果衡量標準 專家談兩大指標 2020-01-14
- 香港獨立IP空間在鹽城網站建設中的優勢 2020-01-14
- 成都網絡公司是做什么的 2020-01-14
- 重慶網絡公司哪家好？ 2020-01-13