robots.txt 文件是告訴搜索引擎它可以和不能在您的網(wǎng)站上的主要方式之一。 所有主流搜索引擎都支持它提供的基本功能，但其中一些搜索引擎會(huì)響應(yīng)一些額外的規(guī)則，這些規(guī)則也很有用。 本指南涵蓋了在您的網(wǎng)站上使用 robots.txt 所有方法，但是，雖然它看起來(lái)很簡(jiǎn)單，但您在 robots.txt 所犯的任何錯(cuò)誤都可能?chē)?yán)重?fù)p害您的網(wǎng)站，因此請(qǐng)務(wù)必先閱讀并理解本文的內(nèi)容。你潛入水中

什么是 robots.txt 文件？

robots.txt 文件有什么作用？

我應(yīng)該把 robots.txt 文件放在哪里？

使用 robots.txt 利弊

Pro：管理抓取預(yù)算

Con：不從搜索結(jié)果中刪除頁(yè)面

Con：沒(méi)有傳播鏈接值

robots.txt 語(yǔ)法

User-agent 指令

搜索引擎蜘蛛最常見(jiàn)的用戶(hù)代理

Disallow 指令

如何使用通配符/正則表達(dá)式

非標(biāo)準(zhǔn) robots.txt 抓取指令

Allow 指令

host 指令

crawl-delay 指令

XML Sitemaps 的 sitemap 指令

驗(yàn)證您的 robots.txt

什么是 robots.txt 文件？

抓取指令

robots.txt 文件是許多爬網(wǎng)指令之一。 我們有所有這些指南，你會(huì)在這里找到它們：

Yoast 的爬行指令指南?

robots.txt 文件是一個(gè)文本文件，由搜索引擎蜘蛛讀取并遵循嚴(yán)格的語(yǔ)法。 這些蜘蛛也被稱(chēng)為機(jī)器人 – 因此名稱(chēng) – 文件的語(yǔ)法是嚴(yán)格的，因?yàn)樗仨毷怯?jì)算機(jī)可讀的。 這意味著這里沒(méi)有錯(cuò)誤的余地 – 有的是 1 或 0。

robots.txt 文件也稱(chēng)為“機(jī)器人排除協(xié)議”，是早期搜索引擎蜘蛛開(kāi)發(fā)者達(dá)成共識(shí)的結(jié)果。 它不是任何標(biāo)準(zhǔn)組織設(shè)定的官方標(biāo)準(zhǔn)，但所有主要搜索引擎都遵守它。

robots.txt 文件有什么作用？

humans.txt

曾幾何時(shí)，一些開(kāi)發(fā)人員坐下來(lái)決定，因?yàn)榫W(wǎng)絡(luò)應(yīng)該是針對(duì)人類(lèi)的，并且由于機(jī)器人在網(wǎng)站上獲取文件，構(gòu)建它的人也應(yīng)該有一個(gè)。 因此，他們創(chuàng)建了 human.txt 標(biāo)準(zhǔn)，作為讓人們了解誰(shuí)在網(wǎng)站上工作的一種方式。

搜索引擎通過(guò)抓取頁(yè)面，從站點(diǎn) A 到站點(diǎn) B 到站點(diǎn) C 的鏈接來(lái)索引 Web，依此類(lèi)推。 在搜索引擎捕獲之前未遇到過(guò)的域上的任何頁(yè)面之前，它將打開(kāi)該域的 robots.txt 文件，該文件告訴搜索引擎該站點(diǎn)上允許哪些 URL 進(jìn)行索引。

搜索引擎通常會(huì)緩存 robots.txt 的內(nèi)容，但通常會(huì)每天刷新幾次，因此更改會(huì)很快反映出來(lái)。

我應(yīng)該把 robots.txt 文件放在哪里？

robots.txt 文件應(yīng)始終位于您域的根目錄下。 因此，如果您的域名是 www.example.com，請(qǐng)?jiān)L問(wèn) https://www.example.com/robots.txt 。

您的 robots.txt 文件實(shí)際上名為 robots.txt 也非常重要。 該名稱(chēng)區(qū)分大小寫(xiě)，因此請(qǐng)正確使用或不起作用。

使用 robots.txt 利弊

Pro：管理抓取預(yù)算

通常可以理解的是，搜索蜘蛛到達(dá)一個(gè)網(wǎng)站，該網(wǎng)站具有預(yù)先確定的“允許數(shù)量”，用于表示它將抓取多少頁(yè)面（或者根據(jù)網(wǎng)站的權(quán)限/大小/聲譽(yù)，將花費(fèi)多少資源/時(shí)間），和 SEO 稱(chēng)之為爬行預(yù)算。 這意味著，如果您從搜索引擎蜘蛛中阻止網(wǎng)站的各個(gè)部分，則可以允許將抓取預(yù)算用于其他部分。

阻止搜索引擎抓取您網(wǎng)站中有問(wèn)題的部分有時(shí)非常有用，尤其是在必須進(jìn)行大量 SEO 清理的網(wǎng)站上。 一旦你整理好了東西，就可以讓他們回來(lái)。

關(guān)于阻止查詢(xún)參數(shù)的說(shuō)明

爬網(wǎng)預(yù)算特別重要的一種情況是，您的站點(diǎn)使用大量查詢(xún)字符串參數(shù)進(jìn)行篩選和排序。 假設(shè)您有 10 個(gè)不同的查詢(xún)參數(shù)，每個(gè)參數(shù)都有不同的值，可以任意組合使用。 這導(dǎo)致數(shù)百甚至數(shù)千個(gè)可能的 URL。 阻止所有查詢(xún)參數(shù)被抓取將有助于確保搜索引擎僅捕獲您網(wǎng)站的主要 URL，并且不會(huì)進(jìn)入您以其他方式創(chuàng)建的巨大陷阱。

此行會(huì)阻止您網(wǎng)站上包含查詢(xún)字符串的所有網(wǎng)址：

不允許： /*？*

Con：不從搜索結(jié)果中刪除頁(yè)面

即使你可以使用 robots.txt 文件告訴蜘蛛它無(wú)法進(jìn)入你的網(wǎng)站，你也無(wú)法使用它告訴搜索引擎哪些網(wǎng)址不會(huì)顯示在搜索結(jié)果中 – 換句話說(shuō)，阻止它不會(huì)阻止它被編入索引。 如果搜索引擎找到足夠的鏈接到該 URL，它將包含它，它將不知道該頁(yè)面上的內(nèi)容。 所以你的結(jié)果看起來(lái)像這樣：

如果要可靠地阻止頁(yè)面顯示在搜索結(jié)果中，則需要使用元機(jī)器人 noindex 標(biāo)記。 這意味著，為了找到 noindex 標(biāo)記，搜索引擎必須能夠訪問(wèn)該頁(yè)面，因此不要使用 robots.txt 阻止它。

Noindex 指令

對(duì)于在 robots.txt 文件中添加“noindex”指令是否可以控制索引行為，以及避免這些“碎片”出現(xiàn)在搜索引擎中，它仍然是搜索引擎優(yōu)化的研究和爭(zhēng)論的持續(xù)領(lǐng)域。 測(cè)試結(jié)果各不相同，搜索引擎不清楚支持的內(nèi)容和不支持的內(nèi)容。

Con：沒(méi)有傳播鏈接值

如果搜索引擎無(wú)法抓取網(wǎng)頁(yè)，則無(wú)法在該網(wǎng)頁(yè)上的鏈接上傳播鏈接值。 當(dāng)一個(gè)頁(yè)面被 robots.txt 阻止時(shí)，它就是一個(gè)死胡同。 可能已經(jīng)流入（并通過(guò)）該頁(yè)面的任何鏈接值都將丟失。

robots.txt 語(yǔ)法

WordPress robots.txt

我們有一篇關(guān)于如何最好地為 WordPress 設(shè)置 robots.txt 文章。 不要忘記您可以在 Yoast SEO 工具→文件編輯器部分編輯您網(wǎng)站的 robots.txt 文件。

robots.txt 文件由一個(gè)或多個(gè)指令塊組成，每個(gè)指令塊都以用戶(hù)代理行開(kāi)頭。 “user-agent”是它所針對(duì)的特定蜘蛛的名稱(chēng)。 您可以為所有搜索引擎使用一個(gè)塊，為用戶(hù)代理使用通配符，或?yàn)樘囟ㄋ阉饕媸褂锰囟▔K。 搜索引擎蜘蛛將始終選擇與其名稱(chēng)最匹配的塊。

這些塊看起來(lái)像這樣（不要害怕，我們將在下面解釋?zhuān)?/p>

用戶(hù)代理： *

不允許： /

用戶(hù)代理：Googlebot

不允許：

用戶(hù)代理：bingbot

禁止：/ not-for-bing /

Allow 和 Disallow 等指令不應(yīng)區(qū)分大小寫(xiě)，因此無(wú)論您是將它們寫(xiě)成小寫(xiě)還是大寫(xiě)它們都取決于您。 值不區(qū)分大小寫(xiě)，但/photo/與/Photo/ 。 我們喜歡將指令大寫(xiě)，因?yàn)樗刮募菀祝ü┤祟?lèi)使用）閱讀。

User-agent 指令

每個(gè)指令塊的第一位是用戶(hù)代理，它標(biāo)識(shí)一個(gè)特定的蜘蛛。 用戶(hù)代理字段與特定蜘蛛（通常更長(zhǎng)）的用戶(hù)代理進(jìn)行匹配，因此例如來(lái)自 Google 的最常見(jiàn)蜘蛛具有以下用戶(hù)代理：

Mozilla / 5.0（兼容; Googlebot / 2.1; + http://www.google.com/bot.html）

因此，如果你想告訴這個(gè)蜘蛛該做什么，一個(gè)相對(duì)簡(jiǎn)單的 User-agent: Googlebot 線就可以了。

大多數(shù)搜索引擎都有多個(gè)蜘蛛。 他們將使用特定的蜘蛛作為正常索引，廣告程序，圖片，視頻等。

搜索引擎將始終選擇他們可以找到的最具體的指令塊。 假設(shè)你有 3 組指令：一組用于* ，一組用于 Googlebot ，一組用于 Googlebot-News 。 如果機(jī)器人來(lái)自其用戶(hù)代理是 Googlebot-Video ，它將遵循 Googlebot restrictions 。 使用用戶(hù)代理 Googlebot-News 的機(jī)器人將使用更具體的 Googlebot-News 指令。

搜索引擎蜘蛛最常見(jiàn)的用戶(hù)代理

以下是您可以在 robots.txt 文件中使用的用戶(hù)代理列表，以匹配最常用的搜索引擎：

搜索引擎 領(lǐng)域 用戶(hù)代理

百度 一般 baiduspider

百度 圖片 baiduspider-image

百度 移動(dòng) baiduspider-mobile

百度 新聞 baiduspider-news

百度 視頻 baiduspider-video

兵 一般 bingbot

兵 一般 msnbot

兵 圖像和視頻 msnbot-media

兵 廣告 adidxbot

谷歌 一般 Googlebot

谷歌 圖片 Googlebot-Image

谷歌 移動(dòng) Googlebot-Mobile

谷歌 新聞 Googlebot-News

谷歌 視頻 Googlebot-Video

谷歌 AdSense 的 Mediapartners-Google

谷歌 AdWords 的 AdsBot-Google

雅虎 一般 slurp

Yandex 的 一般 yandex

Disallow 指令

任何指令塊中的第二行是 Disallow 行。 您可以擁有一行或多行，指定指定蜘蛛無(wú)法訪問(wèn)的站點(diǎn)部分。 空的 Disallow 行意味著您不會(huì)禁止任何內(nèi)容，因此基本上這意味著蜘蛛可以訪問(wèn)您網(wǎng)站的所有部分。

以下示例將阻止所有“收聽(tīng)” robots.txt 搜索引擎抓取您的網(wǎng)站。

用戶(hù)代理： *

不允許： /

下面的示例只允許一個(gè)字符， 允許所有搜索引擎抓取整個(gè)網(wǎng)站。

用戶(hù)代理： *

不允許：

下面的示例將阻止 Google 抓取您網(wǎng)站上的 Photo 目錄 – 以及其中的所有內(nèi)容。

用戶(hù)代理：googlebot

禁止：/照片

這意味著/Photo 目錄的所有子目錄也不會(huì)被蜘蛛俠。 它不會(huì)阻止 Google 抓取/photo 目錄，因?yàn)檫@些行區(qū)分大小寫(xiě)。

這也會(huì)阻止 Google 訪問(wèn)包含/Photo 網(wǎng)址，例如/Photography/ 。

如何使用通配符/正則表達(dá)式

“官方”， robots.txt 標(biāo)準(zhǔn)不支持正則表達(dá)式或通配符，但是，所有主要搜索引擎都理解它。 這意味著你可以使用這樣的行來(lái)阻止文件組：

禁止：/ *。php

禁止：/copyrighted-images/*.jpg

在上面的示例中， *擴(kuò)展為它匹配的任何文件名。 請(qǐng)注意，該行的其余部分仍區(qū)分大小寫(xiě)，因此上面的第二行不會(huì)阻止名為/copyrighted-images/example.JPG 的文件被爬網(wǎng)。

一些搜索引擎，如谷歌，允許更復(fù)雜的正則表達(dá)式，但要注意一些搜索引擎可能不理解這種邏輯。 它添加的最有用的功能是$ ，表示 URL 的結(jié)尾。 在以下示例中，您可以看到它的作用：

不允許：/*.php $

這意味著/index.php 無(wú)法編入索引，但/index.php?p=1 可能是。 當(dāng)然，這僅在非常特殊的情況下才有用，而且非常危險(xiǎn)：很容易解鎖您實(shí)際上不想解鎖的內(nèi)容。

非標(biāo)準(zhǔn) robots.txt 抓取指令

除 Disallow 和 User-agent 指令外，還有一些其他爬行指令可供使用。 所有搜索引擎抓取工具都不支持這些指令，因此請(qǐng)確保您了解其限制。

Allow 指令

雖然沒(méi)有在原始的“規(guī)范”中，但很早就有一個(gè)關(guān)于 allow 指令的討論。 大多數(shù)搜索引擎似乎都理解它，它允許這樣簡(jiǎn)單，非常易讀的指令：

禁止：/ wp-admin /

允許：/wp-admin/admin-ajax.php

在沒(méi)有 allow 指令的情況下實(shí)現(xiàn)相同結(jié)果的唯一方法就是專(zhuān)門(mén) disallow wp-admin 文件夾中的每個(gè)文件。

host 指令

在 Yandex（而不是 Google，盡管有些帖子說(shuō)）的支持下，該指令可讓您決定是否希望搜索引擎顯示 example.com 或 www.example.com 。 簡(jiǎn)單地指定它就可以了：

主持人：example.com

但是因?yàn)橹挥?Yandex 支持 host 指令，所以我們不建議你依賴(lài)它，特別是因?yàn)樗辉试S你定義一個(gè)方案（http 或 https）。 適用于所有搜索引擎的更好的解決方案是 301 將您不想要的索引中的主機(jī)名重定向到您想要的版本。 在我們的案例中，我們將 www.yoast.com 重定向到 yoast.com。

crawl-delay 指令

Yahoo！，Bing 和 Yandex 有時(shí)候可能非常容易抓狂，但幸運(yùn)的是它們都響應(yīng)了 crawl-delay 指令，這會(huì)降低它們的速度。 雖然這些搜索引擎閱讀指令的方式略有不同，但最終結(jié)果基本相同。

像下面這樣的一行將指示雅虎！ 并且 Bing 在爬行動(dòng)作后等待 10 秒，而 Yandex 只會(huì)在每 10 秒鐘訪問(wèn)一次您的站點(diǎn)。 這是一個(gè)語(yǔ)義差異，但仍然有趣。 這是 crawl-delay 的示例：

爬行延遲：10

使用 crawl-delay 指令時(shí)要小心。 通過(guò)設(shè)置 10 秒的爬網(wǎng)延遲，您只允許這些搜索引擎每天訪問(wèn) 8,640 頁(yè)。 這對(duì)于一個(gè)小型網(wǎng)站來(lái)說(shuō)似乎很多，但在大型網(wǎng)站上它并不是很多。 另一方面，如果您接下來(lái)沒(méi)有來(lái)自這些搜索引擎的流量，這是節(jié)省一些帶寬的好方法。

XML Sitemaps 的 sitemap 指令

使用 sitemap 指令，您可以告訴搜索引擎 – 特別是 Bing，Yandex 和 Google – 在哪里可以找到您的 XML 站點(diǎn)地圖。 當(dāng)然，您也可以使用各自的網(wǎng)站管理員工具解決方案將 XML 站點(diǎn)地圖提交給每個(gè)搜索引擎，我們強(qiáng)烈建議您這樣做，因?yàn)樗阉饕婢W(wǎng)站管理員工具程序會(huì)為您提供有關(guān)您網(wǎng)站的大量有價(jià)值信息。 如果您不想這樣做，將 sitemap 行添加到您的 robots.txt 是一個(gè)很好的快速替代方案。

驗(yàn)證您的 robots.txt

有各種各樣的工具可以幫助您驗(yàn)證 robots.txt ，但在驗(yàn)證爬網(wǎng)指令時(shí)，我們總是更喜歡轉(zhuǎn)到源代碼。 Google 在其 Google 搜索控制臺(tái)中有一個(gè) robots.txt 測(cè)試工具（在“舊版本”菜單下），我們強(qiáng)烈推薦使用它：

robots.txt 測(cè)試員

在您將其更改之前，請(qǐng)務(wù)必徹底測(cè)試您的更改！ 你不會(huì)是第一個(gè)不小心使用 robots.txt 阻止整個(gè)網(wǎng)站，并進(jìn)入搜索引擎遺忘！

當(dāng)前文章：后羿SEOrobots.txt的終極指南
本文地址：http://www.js-pz168.com/news19/249269.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站收錄、小程序開(kāi)發(fā)、做網(wǎng)站、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)