【robots.txt怎么寫】Robots.txt寫法和放在哪里詳解
2020-07-24 分類： 網站建設
【robots.txt怎么寫】Robots.txt寫法和放在哪里詳解
1、什么是Robots，熟練掌握Robots的基礎語法是一個合格的成都seoer的基礎技能，寫出你對本節課的理解
Robots是指網站與搜索引擎之間的協議，下列三小點是需要自己記住的：
1.Robots是存放在網站根目錄
2.Robots.txt是放在網站根目錄
3.robots.txt文件名是不可修改的
4.Robots也是百度蜘蛛第一先抓取的
2、robots形式及定義：
User-agent:Baiduspider(定義所有的百度蜘蛛)
Disallow:/
User-agent：定義所有的蜘蛛
Baiduspider：百度蜘蛛
Googlebot：谷歌機器人
MSNBot：msn機器
Baiduspider-image：百度圖片
Disallow:定義那些文件可以抓取，那些文件不可以抓取
Allow:允許
小結：網站優化必須要有robots，robots格式區分大小的，區分大小寫格式為：Disallow首字母必須是大寫的，在本地新建記事本編輯時需要注意的是：輸入法中文要切換成英文，例如：
同時需要注意的是：在編輯時Disallow:/要空一格如下圖所示
*：定義所有的蜘蛛通配符
/：通配符拒絕百度蜘蛛訪問訪問網站根目錄的文件，就是全部的意思
Robots生效時間是多少，是由百度決定的，有可能是1個月或者2個月
附注：放行也是需要生效時間的
$：結束符
附注：同時也需要注意的是，網站動態的路徑也要用robots進行屏蔽，在這個前提需要做的是，要了解每個文件下的數據是用來做什么用的，代表什么意思，自己下面也知道如何運用robots進行操作。
當前標題：【robots.txt怎么寫】Robots.txt寫法和放在哪里詳解
文章網址：http://www.js-pz168.com/news29/84029.html
成都網站建設公司_創新互聯，為您提供搜索引擎優化、微信公眾號、用戶體驗、網站設計公司、網站改版、Google
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 好用的長尾關鍵詞擴展工具分享 2020-07-24
- 【長尾關鍵詞有什么作用】長尾關鍵詞在優化過 2020-07-24
- [網站推廣的錯誤方式]花樣作死之網站自殺式推廣 2020-07-24
- SEO常用指令:組合運用讓你收獲奇效 2020-07-24
- 本地關鍵詞seo排名技術|本地關鍵詞排名如何做 2020-07-24
- 百度對新站的態度：就是這么不公平 2020-07-24
- SEM關鍵詞投放的三個重要指標 2020-07-24
- 【長尾關鍵詞拓展方式】長尾關鍵詞怎么找 2020-07-24
- 包頭seo：強相關的seo技術周邊問題 2020-07-24
- 優化標題標簽應注意哪些要點? 2020-07-24
- 黑帽SEO是如何做好站群的？黑帽站群優化技術 2020-07-24
- 百度右側排名相關搜索是怎么做的? 2020-07-24
- seo基礎教程：網站圖片收錄與展現的維度 2020-07-24
- 新站不收錄是什么原因導致的? 2020-07-24
- 不同類型/階段的網站的seo策略 2020-07-24
- [seo優化技巧]怎么優化網站內容? 2020-07-24
- 【seo核心】以用戶需求為基調的seo才是王道 2020-07-24
- 【如何提升網站的轉化率】營銷型網站的高轉化 2020-07-24
- 企業seo的本質：三大策略解決企業的互聯網營銷 2020-07-24