如何防止別人采集你的網站！

2023-05-22 分類：網站建設

網頁防采集策略

目前防采集的方法有很多種，先介紹一下常見防采集策略方法和它的弊端及采集對策：

一、判斷一個IP在一定時間內對本站頁面的訪問次數，如果明顯超過了正常人瀏覽速度，就拒絕此IP訪問。

弊端：

1、此方法只適用于動態頁面，如：asp/jsp/php等...靜態頁面無法判斷某個IP一定時間訪問本站頁面的次數。

2、此方法會嚴重影響搜索引擎蜘蛛對其收錄，因為搜索引擎蜘蛛收錄時，瀏覽速度都會比較快而且是多線程。此方法也會拒絕搜索引擎蜘蛛收錄站內文件。

采集對策：只能放慢采集速度，或者不采。

建議：做個搜索引擎蜘蛛的IP庫，只允許搜索引擎蜘蛛快速瀏覽站內內容。搜索引擎蜘蛛的IP庫的收集，也不太容易，一個搜索引擎蜘蛛，也不一定只有一個固定的IP地址。

評論：此方法對防采集比較有效，但卻會影響搜索引擎對其收錄。

二、用javascript加密內容頁面

弊端：此方法適用于靜態頁面，但會嚴重影響搜索引擎對其收錄情況，搜索引擎收到到的內容，也都是加密后的內容。

采集對策：建議不采，如非要采，就把解密碼的JS腳本也采下來。

建議：目前沒有好的改良建議。

評論：建議指望搜索引擎帶流量的站長不要使用此方法。

三、把內容頁面里的特定標記替換為”特定標記+隱藏版權文字“

弊端：此方法弊端不大，僅僅會增加一點點的頁面文件大小，但容易反采集。

采集對策：把采集來的含有隱藏版權文字內容的版權文字替掉，或替換成自己的版權。

建議：目前沒有好的改良建議。

評論：自己感覺實用價值不大，就算是加上隨機的隱藏文字，也等于畫蛇添足。

四、只允許用戶登陸后才可以瀏覽

弊端：此方法會嚴重影響搜索引擎蜘蛛對其收錄

采集對策：目前落伍已經有人發了對策文章，具體對策就看這個吧《ASP小偷程序如何利用XMLHTTP實現表單的提交以及cookies或session的發送》。

建議：目前沒有好的改良建議。

評論：建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的采集程序，還是有點效果的。

五、用javascript、vbscript腳本做分頁

弊端：影響搜索引擎對其收錄。

采集對策：分析javascript、vbscript腳本，找出其分頁規則，自己做個對應此站的分頁集合頁即可。

建議：目前沒有好的改良建議。

評論：感覺懂點腳本語言的人都能找出其分頁規則。

六、只允許通過本站頁面連接查看，如：Request.ServerVariables(“HTTP_REFERER“)

弊端：影響搜索引擎對其收錄。

采集對策：不知道能不能模擬網頁來源。。。。目前我沒有對應此方法的采集對策。

建議：目前沒有好的改良建議。

評論：建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的采集程序，還是有點效果的。

從以上可以看出，目前常用的防采集方法，要么會對搜索引擎收錄有較大影響，要么防采集效果不好，起不到防采集的效果。那么，還有沒有一種有效防采集，而又不影響搜索引擎收錄的方法呢？那就請繼續往下看吧！

1、用不同的模板

對于用程序的網站來說，不大可行，一個網站的模板多也就幾套吧。

2、使用robots禁止訪問網頁目錄

這個方法可以有效的防止采集，不過將搜索引擎也封掉了，對于靠搜索引擎吃飯的站長們來說，得不償失。

一個例子，Disallow 后面就是禁止訪問的目錄：

2 [轉帖]網頁防采集策略

User-agent: *

Disallow: /admin

Disallow: /attachments

Disallow: /images

Disallow: /forumdata

Disallow: /include

3、使用HTTP_REFERER禁止采集，發現來自非本站連接就禁止察看葉面，就像前一段落伍im286.net防DDOS那個禁止調用一樣。

這個方法可以比較有效的防止采集，不過也一樣把搜索引擎封掉了，對于靠搜索引擎吃飯的站長們來說，得不償失。

對高手無效，因為HTTP_REFERER可以偽造。但對一般使用采集的人來說，已經足夠應付了。

例：

php

if(preg_replace("/https?://([^/]+).*/i", "1", $HTTP_SERVER_VARS['HTTP_REFERER']) != $HTTP_SERVER_VARS['HTTP_HOST']) {

exit('警告----你的操作已經被禁止.http://www.xinhezi.cn;);

}

4、使用HTTP_REFERER偽造內容

這個方法可以比較有效的防止采集，不過對于搜索引擎來說，查到的東西跟你偽造的東西一樣的，可能會影響收錄。(如有不對，請高手指出)

同上，對于高手無效。

5、使用java加密內容。

這個可能會比較有效，但是我對java一竅不通，也就不清楚如何入手了。

但我想，既然你這樣使得別人采集到亂碼，搜索引擎有可能也是收錄到亂碼的(我不清楚搜索引擎怎么工作，不過我猜測他們是察看網頁源代碼的。)，也就影響收錄。

6、使用java加密網址

同上，有可能讓搜索引擎無法搜索到你的網頁。

7、生成pdf文件、生成圖片

這個方法可以比較有效的防止采集，不過照樣讓搜索引擎望而卻止。

8、加上自己的版權信息

這個方法大的好處就是不影響搜索引擎，效果馬馬虎虎，一般上可以讓采集者采集到帶有自己版權的稿件內容。但是對于可以過濾廣告的采集程序來說，不大有效。

以下是作者給俺的PM:

Quote:

你的版權是不是加了你的網站和網址?

只要把網址和網站名替換成他的就可以了啊.這樣還讓他有了版權功能呢.

反正防采真是頭疼....

有點麻煩，我的思路是將網站名稱分成一個一個字來顯示，他不可能將每個字都替換掉吧？不過要這樣我就沒辦法了。比如說我將我的武俠網拆開，分成

武俠網

，$rand_color*是隨機顏色，可以自己控制的，如果是動態網頁的話，還配合HTTP_REFERER來搞隨機，這樣子隨機性就更大了。一般上，盡量制造難度就是了。模板也可以制造隨機性，幾個相似的模板輪流來弄，這樣子讓人采集的難度更大。

不過說實話，要使他們真要搞，那是沒辦法的事，不過至少要花他們很多的時間去研究。在此之前，他們可能沒耐性轉向別的站了。

另外，好不要讓人知道你使用隨機函數。一般人只是稍微看一下網頁代碼，就開始采集了。

3 回復:[轉帖]網頁防采集策略

防采集程序

下午無聊寫著完，寫完后自己仔細看了看防止采集還是有一定的效果的，哈哈，要的拿去用吧！

Dim AppealNum,AppealCount

AppealNum=10 '同一IP60秒內請求限制10次

AppealCount=Request.Cookies("AppealCount")

If AppealCount="" Then

response.Cookies("AppealCount")=1

AppealCount=1

response.cookies("AppealCount").expires=dateadd("s",60,now())

Else

response.Cookies("AppealCount")=AppealCount+1

response.cookies("AppealCount").expires=dateadd("s",60,now())

End If

if int(AppealCount)>int(AppealNum) then

response.write "歇一會兒吧！整天采集你煩不煩啊！"

response.end

End If

4 回復:[轉帖]網頁防采集策略

[討論]防采集這幾天上網，竟然也現我的整站被人家全部采集去了。暈倒，幾年的資料就這樣便宜人家。

還好，人家是個懶蟲，欄目都不分，鬼才會去看。

這樣才想起怎樣防止采集的方法。

注意，只是討論可行性，還沒有提供解決方案。

采集與搜索引擎的機器人不同。采集需要對網頁進行分析，以找到規則，分別對標題和內容進行讀取并記錄到數據庫中。

如果我們能夠把網頁做成沒有規則，采集也就無從入手了。

說到規則，我就想趣了空格。

空格這東西，在HTM的<>中，并不產生作用，也就是說，一個空格的位置，你多加幾個也是沒關系的。象<table>你可以寫成< table>,<table >,< table >。都可以，所以，如果在網頁里面，特別是采集程序重點分析的位置，我們利用程序，在這些位置加些空格，采集也就難以下手了，就算采到了，也就幾篇而已，影響不大。

我準備這樣做，象原來在模板中的<table>，我會改成<{$space1$}table{$space2$}>,在這里，{$space1$}和{$space2$}是自定義標簽(也可以融合到程序中)，然后在程序中使用隨機數來決定這兩個標簽用多少個空格來代替。

呵呵，人家現在想用<table>來做為特征采集是完全做不到的了。但對于我的網頁，顯示上一點影響也沒有，對于搜索引擎的機器人也一點影響沒有。

我想這應該是合適的方法。

希望做過采集或改過采集的討論一下。

網頁題目：如何防止別人采集你的網站！
網站網址：http://www.js-pz168.com/news25/260475.html

成都網站建設公司_創新互聯，為您提供面包屑導航、服務器托管、網站建設、關鍵詞優化、App設計、建站公司

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容

久久99久久人婷婷精品综合_超碰aⅴ人人做人人爽欧美_亚洲电影第三页_日韩欧美一中文字暮专区_波多野结衣的一区二区三区_婷婷在线播放_人人视频精品_国产精品日韩精品欧美精品_亚洲免费黄色_欧美性猛交xxxxxxxx

如何防止別人采集你的網站！