菜单

Hadoop环境的搭建过程中的问题,环境配置教程

2019年8月8日 - 4166m金沙

Hadoop搭建流程网上有很多,以下是我在搭建Hadoop伪分布式环境是遇到的一些比较菜鸟的问题。

学习Hadoop有两天了,配置Hadoop到环境也用了两天,将自己在Ubuntu
14.04下Hadoop Eclipse 环境配置过程写在这里,希望对大家有所帮助!

相关阅读

我将文中用到的所有资源都分享到了 Linuxidc.com的资源网站里,不需要一个个的找啦!

Ubuntu
13.04上搭建Hadoop环境
http://www.linuxidc.com/Linux/2013-06/86106.htm

——————————————分割线——————————————

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
http://www.linuxidc.com/Linux/2013-09/90600.htm

FTP地址:ftp://ftp1.linuxidc.com

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
http://www.linuxidc.com/Linux/2013-01/77681.htm

用户名:ftp1.linuxidc.com

Ubuntu下Hadoop环境的配置
http://www.linuxidc.com/Linux/2012-11/74539.htm

密码:www.linuxidc.com

单机版搭建Hadoop环境图文教程详解
http://www.linuxidc.com/Linux/2012-02/53927.htm

在 2014年LinuxIDC.com\6月\Ubuntu 14.04下Hadoop Eclipse 环境配置教程

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)
http://www.linuxidc.com/Linux/2011-12/48894.htm

下载方法见
http://www.linuxidc.com/Linux/2013-10/91140.htm

1、执行bin/hadoopnamenode –format时提示没有配置JAVA_HOME

——————————————分割线——————————————
 
其中有《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》这本书(PDF高清扫描版下载见
http://www.linuxidc.com/Linux/2014-06/103576.htm
),第一章讲述了这个配置过程,但是不详细~

linux自带的SDK并不是Sun公司的SDK,而是开源的OpenSDK。为了保险,还是决定重新配置java环境,使用SUN
jdk。

—————安装jdk——————————-
 1.
 下载jdk1.6.0_45
 
2.解压到opt文件夹下,配置/etc/profile,在文件尾部加上
 #set java environment
 JAVA_HOME=/opt/jdk1.6.0_45
 export JRE_HOME=/opt/jdk1.6.0_45/jre
 export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
 
3.然后用source /etc/profile来重新执行刚修改的初始化文件(profile)
 
4.配置默认程序
 update-alternatives –install /usr/bin/java java
/opt/jdk1.6.0_45/bin/java 300
 update-alternatives –install /usr/bin/java java
/opt/jdk1.6.0_45/bin/javac 300
 update-alternatives –install /usr/bin/java java
/opt/jdk1.6.0_45/bin/jar 300
 update-alternatives –install /usr/bin/java java
/opt/jdk1.6.0_45/bin/javah 300
 update-alternatives –install /usr/bin/java java
/opt/jdk1.6.0_45/bin/javap 300
 
然后执行以下代码选择我安装到jdk版本:
 update-alternatives –config java
 5.之后就可以用java -version来查看java的版本了

2、执行启动命令bin/start-all.sh后出现:JAVA_HOMEis not set

Ubuntu下安装JDK7(附Clojure下载)
http://www.linuxidc.com/Linux/2012-10/71557.htm

但是执行java -version后可以看到java版本信息,证明系统的jdk没有配置错误。

Ubuntu 12.04下安装JDK1.7
http://www.linuxidc.com/Linux/2012-06/62239.htm

再次检查hadoop-env.sh中的配置。发现路径虽然改了,但是那个语句还在注释里(#),我忘记把注释去掉了。(摔!)

CentOS6.3安装JDK和环境配置
http://www.linuxidc.com/Linux/2012-09/70780.htm
 
—————安装eclipse——————————-
 1.从官网下载java版到eclipse
 
 2.解压到/home/simon文件夹下
 3.用vi建立shell脚本命名为eclipse
  vi /usr/local/bin/eclipse
 内容如下:
 /home/simon/eclipse/eclipse
4.为脚本eclipse添加可执行权限: chmod +x /usr/local/bin/eclipse
 5.直接输入eclipse来启动它了
 
—————安装ant——————————-
 1.下载ant
 
 2.解压复制到/home/simon 文件夹下
 3.修改/etc/profile 文件
 export ANT_HOME=/home/simon/apache-ant-1.9.4
 export PATH=$PATH$:$ANT_HOME/bin
 4.然后用source /etc/profile来重新执行刚修改
 5.输入ant -version验证安装成功
 Apache Ant(TM) version 1.9.4 compiled on April 29 2014

3、执行jps发现没有启动NameNode以及JobTracker

如何在 Linux 服务器上安装 apache
ant?
http://www.linuxidc.com/Linux/2012-06/63014.htm

www.linuxidc.com@www.linuxidc.com:~/hadoop-0.20.2$jps

Apache Ant 的详细介绍下载见
http://www.linuxidc.com/Linux/2013-08/88313.htm

5457SecondaryNameNode

Android 编译工具 Ant
http://www.linuxidc.com/Linux/2013-05/84490.htm

7491Jps

 —————安装hadoop——————————-
 1.修改机器名称,编辑/etc/hostname 修改为localhost
 2.配置ssh无密码登录
 ssh-keygen -t rsa
 cd ~/.ssh
 cat id_rsa.pub >> authorized_keys
 apt-get install openssh-server
 3.如果命令 ssh localhost不成功,则需要启动ssh服务
 通过以下命令启动ssh服务
 service ssh start
 /etc/init.d/ssh start
 如果还是启动失败,那就重启吧,管用
 
3.配置hadoop
 (1)编辑conf/hadoop-env.sh,修改JAVA_HOME的值:
 export JAVA_HOME=/opt/jdk1.6.0_45
 (2)编辑conf/mapred-site.xml,添加内容:
 <property>
    <name>mapred.job.tracker</name>
        <value>;
 </property>
 (3)编辑conf/hdfs-site.xml,添加内容:
 <property>
        <name>dfs.name.dir</name>
        <value>/home/simon/name</value>
 </property>
 
<property>
        <name>dfs.data.dir</name>
        <value>/home/simon/data</value>
 </property>
 <property>
        <name>dfs.permissions</name>
        <value>false</value>
 </property>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>
 (4)编辑conf/core-site.xml,添加内容:
 <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
 </property>
 
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-1.0.0/tmp</value>
 </property>
 (5)
 格式化hdfs: bin/hadoop namenode -format
 启动hadoop: bin/start-all.sh
如果显示没有权限,可能是文件无权限,或者文件到用户不是当前用户(root)
 可以尝试 chmod +x 文件名
 chown root:root bin/*

5672TaskTracker

Ubuntu 13.04上搭建Hadoop环境
http://www.linuxidc.com/Linux/2013-06/86106.htm

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图