安裝Hadoop
Apache Hadoop是一款支援數據密集型分散式應用程式並以Apache 2.0許可協定發佈的開源軟件框架。它支援在商品硬件構建的大型叢集上執行的應用程式。Hadoop是根據Google公司發表的MapReduce和Google文件系統的論文自行實現而成。所有的Hadoop模組都有一個基本假設,即硬件故障是常見情況,應該由框架自動處理。[1]
要求
編輯作業系統:Ubuntu Linux 16.04 LTS 電腦版
安裝Linux
編輯安裝JDK並組態Java變數
編輯使用sudo apt install openjdk-9-jdk-headless
安裝JDK(注意:輸入的密碼完全不會顯示),安裝完畢後使用文字編輯器(如vim、nano等)在~/.bashrc
末尾添加以下內容:
export JAVA_HOME=/usr/lib/jvm/java-9-openjdk-amd64/
安裝Hadoop
編輯方便起見,預設將Hadoop安裝至家目錄。
下載Hadoop壓縮檔,並使用tar解壓:tar -xzpf hadoop-filename.tar.gz
。
解壓完畢後將Hadoop可執行檔案位置加入PATH變數:~/.bashrc
。
重新讀取~/.bashrc
編輯使用source ~/.bashrc
重新讀取.bashrc設定檔。
測試JDK及Hadoop是否安裝成功
編輯執行命令:hadoop version
。
如無意外,輸出結果應該類似於下面這樣:
Hadoop 2.9.1 Subversion https://github.com/apache/hadoop.git -r e30710aea4e6e55e69372929106cf119af06fd0e Compiled by root on 2018-04-16T09:33Z Compiled with protoc 2.5.0 From source with checksum 7d6d2b655115c6cc336d662cc2b919bd This command was run using /home/junjie/hadoop-2.9.1/share/hadoop/common/hadoop-common-2.9.1.jar
講師
編輯如有疑問,歡迎聯絡。