一、爬蟲系統(tǒng)的誕生

通用搜索引擎的處理對象是互聯(lián)網(wǎng)網(wǎng)頁，目前互聯(lián)網(wǎng)網(wǎng)頁的數(shù)量已達(dá)百億，所以搜索引擎首先面臨的問題是：如何能夠設(shè)計出高效的下載系統(tǒng)，以將如此海量的網(wǎng)頁數(shù)據(jù)傳送到本地，在本地形成互聯(lián)網(wǎng)網(wǎng)頁的鏡像備份。

網(wǎng)絡(luò)爬蟲能夠起到這樣的作用，完成此項艱巨的任務(wù)，它是搜索引擎系統(tǒng)中很關(guān)鍵也很基礎(chǔ)的構(gòu)件。

本文主要介紹與網(wǎng)絡(luò)爬蟲相關(guān)的技術(shù)，盡管爬蟲經(jīng)過幾十年的發(fā)展，從整體框架上來看已經(jīng)相對成熟，但隨著互聯(lián)網(wǎng)的不斷發(fā)展，也面臨著一些新的挑戰(zhàn)。

二、通用爬蟲技術(shù)框架

爬蟲系統(tǒng)首先從互聯(lián)網(wǎng)頁面中精心選擇一部分網(wǎng)頁，以這些網(wǎng)頁的鏈接地址作為種子URL，將這些種子放入待抓取URL隊列中，爬蟲從待抓取URL隊列依次讀取，并將URL通過DNS解析，把鏈接地址轉(zhuǎn)換為網(wǎng)站服務(wù)器對應(yīng)的IP地址。

然后將其和網(wǎng)頁相對路徑名稱交給網(wǎng)頁下載器，網(wǎng)頁下載器負(fù)責(zé)頁面的下載。

對于下載到本地的網(wǎng)頁，一方面將其存儲到頁面庫中，等待建立索引等后續(xù)處理；另一方面將下載網(wǎng)頁的URL放入已抓取隊列中，這個隊列記錄了爬蟲系統(tǒng)已經(jīng)下載過的網(wǎng)頁URL，以避免系統(tǒng)的重復(fù)抓取。

對于剛下載的網(wǎng)頁，從中抽取出包含的所有鏈接信息，并在已下載的URL隊列中進(jìn)行檢查，如果發(fā)現(xiàn)鏈接還沒有被抓取過，則放到待抓取URL隊列的末尾。在之后的抓取調(diào)度中會下載這個URL對應(yīng)的網(wǎng)頁。

如此這般，形成循環(huán)，直到待抓取URL隊列為空，這代表著爬蟲系統(tǒng)將能夠抓取的網(wǎng)頁已經(jīng)悉數(shù)抓完，此時完成了一輪完整的抓取過程。

分享題目：網(wǎng)站seo優(yōu)化了解入門爬蟲技術(shù)原理一
轉(zhuǎn)載注明：http://www.js-pz168.com/news41/287391.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、網(wǎng)站維護(hù)、企業(yè)網(wǎng)站制作、做網(wǎng)站、品牌網(wǎng)站建設(shè)、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)