Apache Hadoop是一款支持數據密集型分布式應用程序並以Apache 2.0許可協議發布的開源軟件框架。它支持在商品硬件構建的大型集群上運行的應用程序。Hadoop是根據谷歌公司發表的MapReduce和Google文件系統的論文自行實現而成。所有的Hadoop模塊都有一個基本假設,即硬件故障是常見情況,應該由框架自動處理。[1]

要求

編輯

操作系統:Ubuntu Linux 16.04 LTS 桌面版

安裝Linux

編輯

安裝JDK並配置Java變量

編輯

使用sudo apt install openjdk-9-jdk-headless安裝JDK(注意:輸入的密碼完全不會顯示),安裝完畢後使用文本編輯器(如vim、nano等)在~/.bashrc末尾添加以下內容:

export JAVA_HOME=/usr/lib/jvm/java-9-openjdk-amd64/

安裝Hadoop

編輯

方便起見,默認將Hadoop安裝至家目錄。

下載Hadoop壓縮包,並使用tar解壓:tar -xzpf hadoop-filename.tar.gz

解壓完畢後將Hadoop可執行文件位置加入PATH變量:~/.bashrc

重新讀取~/.bashrc

編輯

使用source ~/.bashrc重新讀取.bashrc配置文件。

測試JDK及Hadoop是否安裝成功

編輯

運行命令:hadoop version

如無意外,輸出結果應該類似於下面這樣:

Hadoop 2.9.1
Subversion https://github.com/apache/hadoop.git -r e30710aea4e6e55e69372929106cf119af06fd0e
Compiled by root on 2018-04-16T09:33Z
Compiled with protoc 2.5.0
From source with checksum 7d6d2b655115c6cc336d662cc2b919bd
This command was run using /home/junjie/hadoop-2.9.1/share/hadoop/common/hadoop-common-2.9.1.jar

講師

編輯

如有疑問,歡迎聯繫。

參考文獻

編輯