互聯網IDC圈4月8日報道，在2010年，沒有人知道什么是Hadoop，但是今天，房間里的大象這個標志已經成為了大數據的寵兒。根據Wikibon, Hadoop市場在2012年，供應商的收入已經有256美元，預計2017年底增加到17億、程序員、架構師、系統管理員和數據倉庫員都在千方百計地學習存儲和處理大數據集的Hadoop。開始一個Hadoop管理員面試將會成為一個單調枯燥的工作，如果你沒有花足夠的時間來準備。

創(chuàng)新互聯主營峨山縣網站建設的網絡公司,主營網站建設方案,成都APP應用開發(fā),峨山縣h5微信小程序定制開發(fā)搭建,峨山縣網站營銷推廣歡迎峨山縣等地區(qū)企業(yè)咨詢

專業(yè)人士正在嘗試為hadoop開發(fā)者和管理者工作，不僅僅是要努力準備hadoop管理者的面試題。當人們處在hadoop開發(fā)者的位置，可以自由的準備與管理相關的hadoop面試問題，這對于那些正在準備進入hadoop管理者的角色的人們是很重要的，獲得hadoop管理者面試問題的細節(jié)。在我之前的TOP100的帖子里的面試問題及答案和TOP50的Hadoop的面試問題，我們列出了所有可能對Hadoop開發(fā)面試者問的問題。本文列舉了頂級Hadoop管理員的面試問題及答案，這些問題和答案在hadoop管理工作面試時很可能會被問到的。

計算機研究發(fā)現Hadoop的技能差距是整個大數據范圍內大的。在大數據的空間里，Hadoop被各行業(yè)應用，Hadoop管理的重要性是不容忽視的。無數的行業(yè)招聘Hadoop管理人員，確保他們的大數據系統可以在最復雜和動態(tài)的環(huán)境下被選中。從金融業(yè)到政府部門，各行業(yè)招聘hadoop管理人員來管理他們的大數據平臺。Hadoop管理專業(yè)人才的需求量正不斷上升，以滿足專業(yè)人才的缺乏。

如何準備一個Hadoop管理者面試?

Hadoop管理員面試，圍繞Hadoop軟件安裝，配置和維護，測試一個考生的知識范圍，一個Hadoop管理員需要基于利益相關者的需求研究實現特定的平臺大數據解決方案。這是一個面試者為Hadoop管理員面試所必要的，精通大型數據管理的概念。為了證明自己是一位合格的Hadoop管理員的候選人，確保對于處理Hadoop項目的知識和管理能力，展示特定領域的興趣和專業(yè)知識，具有多任務處理能力和領導能力。

如果你已經申請了Hadoop的管理員工作，那么它值得你花一些時間去回顧這些列在下面的面試問題，當你準備面試時——

Hadoop管理員面試問題與回答

1、 解釋不同的配置文件以及它們位于何處

配置文件位于conf子目錄。Hadoop有3個不同的配置文件，hdfs-site.xml, core-site.xml 和 mapred-site.xml。

2、 要求運行Hadoop集群的進程是什么

Namenode，DataNode，TaskTracker和JobTracker

3、 你將如何重新啟動節(jié)點?

最簡單的做法是運行停止運行命令shell腳本，即點擊stop-all.sh。一旦這樣做了，重啟NameNode點擊start-all.sh。

4、 解釋在Hadoop上的不同的調度程序。

FIFO調度——調度系統中不考慮系統中的異質性，但命令工作是基于排隊達到的時間。

COSHH——這個計劃考慮工作量，調度決策的聚類和用戶異質性。

公平分享——Hadoop調度為每個用戶定義。這個地方包含一個資源地圖以及減少資源上的狹縫。每個用戶都可以使用自己的資源去執(zhí)行這個作業(yè)。

5、 列出幾個用于執(zhí)行復制操作的Hadoop命令

fs –put

fs –copyToLocal

fs –copyFromLocal

6、 什么是指揮用的JPS?

JPS命令用于驗證程序，這種程序運行Hadoop集群是否工作。它命令顯示輸出者的NameNode的現狀，Secondary NameNode, DataNode, TaskTracker 和 JobTracker。

7、 當Hadoop部署生產環(huán)境時，什么重要的硬件因素應該考慮?

基于應用程序的工作服務和管理服務之間的內存系統的內存需求會有所不同。

操作系統——一個64位操作系統，避免了任何限制，可用于在工作節(jié)點上的內存量。

存儲——最好是通過移動計算活動數據實現可擴展性和高性能的Hadoop平臺設計。

容量——大形的因子磁盤(3.5”)磁盤的成本比較低，相比比較小的形式因素磁盤允許存儲更多內容。

網絡——兩個TOR網絡交換機提供了較好的冗余。

計算能力可以在Hadoop集群的Mapreduce槽可用的數量節(jié)點決定。

8、 有多少節(jié)點可以運行在一個單一的Hadoop集群?

只有一個

9、 當Hadoop集群上的節(jié)點下來會發(fā)生什么呢?

文件系統脫機時，Namenode下來了。

10、 什么是hadoop-env.sh下的文件和在文件應設置為Hadoop的工作上的變量?

這個文件提供hadoop的運行環(huán)境，包括以下variables-hadoop_classpath，java_home和hadoop_log_dir。java_home變量應為Hadoop運行。

11)除了利用JPS的命令還有任何其他什么方法，你可以檢查是否它是工作。

使用命令/ etc / init.d/hadoop-0.20-namenode狀態(tài)。

12)在一個MapReduce系統，如果HDFS塊大小為64 MB，有3個文件的大小127mb，64K和65mb與fileinputformat。在這種情況下，有多少輸入將很可能是由Hadoop框架組成。

2個分別為127 MB和65 MB的文件或者一個是64KB的文件。

13)該命令是檢驗HDFS是否被破壞?

hadoop fsck(文件系統檢查)命令用于檢查丟失塊。

14)列出了一些使用Hadoop生態(tài)系統的案例

文本挖掘，圖分析，語義分析，情感分析，推薦系統。

15)你怎樣讓一個Hadoop不工作

Hadoop的工作–清除工作ID。

16)我想看到所有的工作在Hadoop集群上運行。你該怎么做?

使用命令–Hadoop作業(yè)–列表，給出了在Hadoop集群上運行的工作列表。

17)是否可以在多個集群中復制文件?如果是，你怎么能做到這一項呢?

是的，它可能的復制文件到多個Hadoop集群，這可以使用分布式復制實現。distcp命令用于內部或跨集群復制。

18)什么是最好的運行Hadoop操作系統?

Ubuntu和Linux是選的運行Hadoop的操作系統。雖然Windows操作系統也可以用來運行Hadoop的但它會導致一些問題，所以并不推薦。

19)運行Hadoop的網絡要求是什么?

SSH是需要運行啟動服務器進程從屬節(jié)點。

一個密碼需要更少的SSH在主人，機器，和所有的苦工之間的連接。

20)將mapred.output.compress屬性設置為true，以確保所有的輸出文件壓縮在高效的空間使用Hadoop集群上。在特定情況下，如果群集用戶不需要對工作進行壓縮數據。你建議他做什么?

如果用戶不想壓縮數據的一個特定的工作就應該創(chuàng)建自己的配置文件并且設置mapred.output.compress屬性為false。這個配置文件之后作為一個資源加載到相關工作。

21)什么是實施一次最佳實踐的NameNode?

它始終是在一個單獨的獨立的機器更好地部署第二個Namenode。當次級節(jié)點部署在一個單獨的機器不受主節(jié)點干擾的操作。

22)應該多長時間給NameNode重新格式化嗎?

Namenode不能格式化。這樣做會導致數據完全的丟失。NameNode是一次格式化開始之后，它創(chuàng)造了整個文件系統的元數據和命名空間ID目錄結構。

23)如果Hadoop產生了100個任務工作，并且其中一個任務失敗。Hadoop該怎么做呢?

任務將再次開始一個新的TaskTracker，并且默認設置逾期不超過4次，(默認值是可以改變的)，工作將會失敗。

24)你如何添加和刪除節(jié)點的Hadoop集群?

在HDFS集群中添加新節(jié)點，主機名應該被添加到文件然后在DataNode和TaskTracker開始在新的節(jié)點。

刪除或退役從HDFS集群的節(jié)點，主機名應該是從slaves–refreshnodes刪除文件執(zhí)行。

25)您增加復制級別，但注意到該數據已復制。什么原因導致錯誤?

其實沒有任何錯誤，如果有大量的數據，因為數據復制通常需要在時間的基礎上的數據大小作為集群進行數據復制，它可能需要幾個小時。

Hadoop管理面試題

1、當你第一次Hadoop集群啟動安裝過程，你會怎樣設置安裝程序?

2、你將如何安裝新組件或添加到現有的Hadoop集群服務?

3、如果Hive的元數據服務在下降，那么將對Hadoop集群有什么影響?

4、當你建立一個Hadoop集群，你將如何決集群的大小?

5、你怎么在同一集群運行Hadoop和實時進程?

6、如果你得到一個拒絕連接的案例-當登錄到一臺機器上的集群，可能是什么原因?你將如何解決這個問題?

7、你如何識別和解決長期運行的工作?

8、你怎么決定一個NameNode和Hadoop服務的堆內存的限制?

9、如果Hadoop服務在Hadoop集群上運行緩慢，什么是它的根源，你將如何鑒別呢?

10、有多少數據節(jié)點可以運行在一個單一的Hadoop集群?

11、在Hadoop2.0和Hadoop 1.0配置

12、在高可用性的情況下，如果連接待機和活躍節(jié)點丟失。這種Hadoop集群將如何影響?

13、ZooKeeper服務在Hadoop 2和Hadoop1所需的最小數目是多少?

14、如果一個Hadoop集群的一些機器硬件質量很低。如何影響集群的性能和整體性能?

15、如何確定一個特定的節(jié)點，節(jié)點是死的嗎?

16、解釋“黑名單節(jié)點”和“死區(qū)節(jié)點”之間的區(qū)別。

17、你怎么增加NameNode的內存?

18、在Hadoop的調度配置能力。

19、重新啟動后的集群之后，如果MapReduce之前的工作現在沒有實現，當重新開始的時候可能會出什么錯誤?

20、說明添加和刪除一個節(jié)點的Hadoop集群的步驟。

21、在一個大且繁忙的Hadoop集群，如何識別長期運行的工作?

22、當Namenode關閉時，JobTracker做什么?

23、當手動配置Hadoop，這屬性文件的修改應配置槽?

24、如何將新用戶添加到集群中?

25、推測執(zhí)行的優(yōu)勢是什么?在什么情況下，推測執(zhí)行可能不會是有益的?

開放的Hadoop管理員面試題

這些面試題是以個案為基礎的，根據——你在哪里申請這個Hadoop管理員角色，你在這個角色是否有一些經驗 。請在下面的評論中分享你的Hadoop管理員面試經驗。

1、你目前的Hadoop工作符合你目前的項目角色和責任描述嗎?

2、哪些工具用在你的項目監(jiān)測的hadoop集群和節(jié)點?

3、你認為在一個集群中會出現多少個節(jié)點?

4、你在任何組織中致力于go-live工程嗎?

5、哪一種MapReduce版本適合配置你的Hadoop集群?

6、說明在公司任何明顯的Hadoop案例情況，有助于大限度地提高其盈利能力?

7、你怎么從無到有建立Hadoop集群?

8、你遵從什么標準程序部署Hadoop?

9、你將如何管理一個Hadoop系統?

10、你會更喜歡使用哪種工具監(jiān)控Hadoop和HBase的集群?

上面的列表只是對Hadoop管理員的不同類型的面試問題的概述。然而，Hadoop管理員面試問題基于你的工作經驗，來自的業(yè)務領域的不同而完全不同。你是否擔心沒有經驗，如果你清楚你的基礎以及Hadoop項目的工作經驗，公司是愿意雇傭你的。開始最重要的事情，是準備在hadoop管理中準備一個偉大的職業(yè)生涯，并且你一定可以成功的掌控一個hadoop管理員面試。為追求卓越和成功努力吧。

網站欄目：頂級Hadoop管理員面試問題與回答
標題URL：http://www.js-pz168.com/article40/chjdho.html

成都網站建設公司_創(chuàng)新互聯，為您提供企業(yè)建站、ChatGPT、微信公眾號、定制網站、搜索引擎優(yōu)化、小程序開發(fā)

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯