博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Mac OS X Yosemite安装Hadoop 2.6记录
阅读量:5098 次
发布时间:2019-06-13

本文共 3779 字,大约阅读时间需要 12 分钟。

整个安装过程分为四个部分:

一.  安装Homebrew

二.  ssh localhost

三. 安装Hadoop已经进行配置文件设置 (伪分布式)

四. 执行栗子

一. 安装Homebrew

採用Homebrew安装Hadoop很简洁方便。之前在Windows上Cygwin上安装过Hadoop,感觉好麻烦。

关于Homebrew能够查看其官网 http://brew.sh/ 也能够查看 一文。

$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
然后将上面一行命令拷贝到终端运行就安装完毕了。

二. ssh localhost

由于安装hadoop须要远程登入的功能,所以须要安装ssh工具。

Mac OS X仅仅需在“系统偏好设置”的“共享”的“远程登录”勾选就能够使用ssh了。

ssh的很多其它能够查看    一文。

假设没有生成过ssh公钥,就使用命令: (查看 ~/.ssh/id_dsa 和~/.ssh/id_dsa.pub存不存在就知道之前有没有生成过公钥。或者直接运行ssh localhost看是否能成功)

$ ssh-keygen -t rsa -P ""$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
后面的命令是为了将自己的公钥存到对方的公钥保存目录中, 这是为了避免每次运行ssh  localhost进行远程登入的时候都要输入password。

三. 安装hadoop    由于就在自己的一台电脑。所以就採用伪分布式模式。

$ brew install hadoop
hadoop 就成功安装了。当然这样安装的最新稳定版, 我安装时最新为2.6。

hadoop将按预定的路径安装。

以下就是配置文件的改动了:

hadoop-env.sh

文件在/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop/hadoop-env.sh   

将 

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

改动为

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
编辑 Core-site.xml

/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop/core-site.xml

hadoop.tmp.dir
/usr/local/Cellar/hadoop/hdfs/tmp
A base for other temporary directories.
fs.default.name
hdfs://localhost:9000

注: fs.default.name 保存了NameNode的位置。HDFS和MapReduce组件都须要用到它。这就是它出如今core-site.xml 文件里而不是 hdfs-site.xml文件里的原因

编辑 mapred-site.xml   可能文件名称为 mapred-site.xml.templete , 改不改名字都能够。

 /usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop/mapred-site.xml 刚開始是空白的文件

mapred.job.tracker
localhost:9010

变量mapred.job.tracker 保存了JobTracker的位置,由于仅仅有MapReduce组件须要知道这个位置,所以它出如今mapred-site.xml文件里。

编辑 hdfs-site.xml

/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop/hdfs-site.xml

dfs.replication
1

变量dfs.replication指定了每一个HDFS数据库的复制次数。 通常为3, 因为我们仅仅有一台主机和一个伪分布式模式的DataNode,将此值改动为1。

至此,配置文件编辑完成。

接下来是进到 hadoop 的安装文件夹 /usr/local/Cellar/hadoop/2.6.0/sbin

然后运行 ./start-dfs.sh 和 ./start-yarn.sh 就能够启动 Hadoop了。

只是这里会出现一个 警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 这对Hadoop的执行没有影响,关于这个警告后面再讲。

为了启动Hadoop的时候避免每次都首先进到安装文件夹。然后再运行./start-dfs.sh 和 ./start-yarn.sh这么麻烦,所以在编辑 ~/.profiles文件,加上例如以下两行:

alias hstart="/usr/local/Cellar/hadoop/2.6.0/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/start-yarn.sh"alias hstop="/usr/local/Cellar/hadoop/2.6.0/sbin/stop-yarn.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/stop-dfs.sh"
然后运行
$ source ~/.profile 更新。 这样能够就能够用 hstart 和 hstop 这两个简单明了启动Hadoop了。

只是在启动hadoop之前要先格式化 hdfs

$ hadoop namenode -format
这时就能够用hstart启动hadoop了。

能够使用 jps 命令验证 Hadoop是否在执行。

四. 执行栗子

安装完了之后肯定想看看能不能使用。hadoop自带了一个样例。

$ hadoop jar <path to the hadoop-examples file> pi 10 100

$ hadoop jar /usr/local/Cellar/hadoop/2.3.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar pi 2 5
得到的结果可能是这种:

Wrote input for Map #0Wrote input for Map #1Starting Job...Job Finished in 1.685 secondsEstimated value of Pi is 3.60000000000000000000

然后能够通过Web端进行监控。

Resource Manager: JobTracker:Specific Node Information:
通过他们能够訪问 HDFS filesystem, 也能够取得结果输出文件.

注: 前文提到的 警告 是关于 Hadoop 本地库的, Hadoop本地库是为了提高效率或者某些不能用Java实现的功能组件库。眼下仅仅支持 *unix, 在Mac OS X和Cygwin上没有支持的。

只是我看到一篇文章说也能够在Mac OS X支持本地库,其解决方法是

转载于:https://www.cnblogs.com/mfrbuaa/p/4580779.html

你可能感兴趣的文章
JAVA开发环境搭建
查看>>
mysql基础语句
查看>>
Oracle中的rownum不能使用大于>的问题
查看>>
[Data Structure & Algorithm] 有向无环图的拓扑排序及关键路径
查看>>
cassandra vs mongo (1)存储引擎
查看>>
Visual Studio基于CMake配置opencv1.0.0、opencv2.2
查看>>
Vue音乐项目笔记(三)
查看>>
遍历Map对象
查看>>
计算剪贴板里仿制的代码行数
查看>>
MySQL索引背后的数据结构及算法原理
查看>>
#Leetcode# 209. Minimum Size Subarray Sum
查看>>
SDN第四次作业
查看>>
DM8168 DVRRDK软件框架研究
查看>>
django迁移数据库错误
查看>>
yii 跳转页面
查看>>
洛谷 1449——后缀表达式(线性数据结构)
查看>>
[最小割][Kruskal] Luogu P5039 最小生成树
查看>>
Data truncation: Out of range value for column 'Quality' at row 1
查看>>
Dirichlet分布深入理解
查看>>
(转)Android之发送短信的两种方式
查看>>