hadoop安装实际也是很简单的,关键是有些坑不要踩了就好了,hadoop实际就是一个java的程序,跑起来很简单的,前期配置和准备工作做好就能一步安装成功
准备工作1
安装linux虚拟机,注意安装的时候不要忘记网络设置,不然不能通过局域网连接到虚拟机
准备工作2
linux要先建立一个跑hadoop的用户并赋给权限
[root@ ~]# useradd -m hadoop -s /bin/bash
[root@ ~]# passwd hadoop
更改用户 hadoop 的密码 。
新的 密码:
重新输入新的 密码:
passwd:所有的身份验证令牌已经成功更新。
给hadoop用户赋权限
修改 /etc/sudoers 文件,找到下面一行,把前面的注释(#)去掉
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
然后修改用户,使其属于root组(wheel),命令如下:
#usermod -g root hadoop
修改完毕,现在可以用hadoop帐号登录,然后用命令 sudo ,即可获得root权限进行操作。
准备工作3
[root@ ~]# su hadoop
[hadoop@ root]$
[hadoop@ root]$ ssh-keygen -t rsa -P ''
#密钥默认存放在/home/hadoop/.ssh/目录下
[hadoop@ root]$ ~$ cat ./.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@ root]$ chmod 0600 !$
chmod 0600 ~/.ssh/authorized_keys
试试
[hadoop@ root]$ ssh localhost
Last login: Sat Mar 25 21:04:52 2017
[hadoop@ ~]$
已经可以免密码登陆了
准备工作4:
安装jdk
[hadoop@ ~]$ cat .bash_profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
准备工作完毕
我下载的是2.7.3
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
解压
tar -zxvf hadoop-2.7.3.tar.gz
Hadoop配置
首先进入/home/hadoop/hadoop-2.7.3/etc
core-site.xml:包括HDFS、MapReduce的I/O以及namenode节点的url(协议、主机名、端口)等核心配置,datanode在namenode上注册后,通过此url跟client交互
vi hadoop-2.7.3/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml: HDFS守护进程配置,包括namenode,secondary namenode,datanode
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml:MapReduce守护进程配置,包括jobtracker和tasktrackers
vi mapred-site.xml(可以从模板复制)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
全局资源管理配置 (暂时不是很懂)
http://www.cnblogs.com/gw811/p/4077318.html
vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_suffle</value>
</property>
</configuration>
配置与hadoop运行环境相关的变量
hadoop@hive:~$ vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79
完毕这些还有一个步骤很重要:
nameNode 格式化并启动,如果修改了hostname,/etc/hosts文件也需要添加本地解析,否则初始化会报错namenode unknown
/hadoop-2.7.3/bin/hdfs namenode -format
准备完毕启动命令是:
进入/hadoop-2.7.3/sbin/
./start-all.sh
可以进入日志目录看看日志
/home/hadoop/hadoop-2.7.3/logs
[root@ sbin]# jps
14505 SecondaryNameNode
14305 NameNode
12108 -- process information unavailable
14644 ResourceManager
14390 DataNode
14736 NodeManager
14769 Jps
[root@ sbin]#
hadoop伪集群安装安装完毕
相关推荐
hadoop集群安装笔记,我个人在自己的本机虚拟3台机器,搭建hadoop的学习环境,在安装过程中,出现这样那样的问题,并记录下来分享给大家,希望都新手有帮助。
!
!
hadoop的单机伪分布安装笔记,使用虚拟机方式、端口转发、搭建hadoop的单机环境。学习hadoop的入门文档之一。
Hadoop架构分析之集群结构分析,Hadoop架构分析之HDFS架构分析,Hadoop架构分析之NN和DN原生文档解读,Hadoop MapReduce原理之流程图.Hadoop MapReduce原理之核心类Job和ResourceManager解读.Hadoop MapReduce原理之...
大数据平台,hadoop集群学习笔记
XEN虚拟机的安装配置,Hadoop集群环境的安装配置以及部署
练习搭建伪分布Hadoop3.X集群,只用于刚刚开始学习搭建hadoo伪分布式集群的人群,帮助大家快速搭建Hadoop3.X伪分布式集群,快速入门大数据为日后的学习打下坚实的基础
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表: hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz
从零开始一步步介绍如何搭建Hadoop集群
在hadoop集群配置中边搭边记录的小白,一起学习!
hadoop学习资料下载.包括hdfs,集群,MapReduce,HBase,Hive等等.完全收录.
Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算
续博客zookeeper搭建后,hadoop集群搭建的详细步骤,来源于自学大数据hadoop集群搭建后总结学习笔记,供初学者参考学习。
由于 Hive 是建立在 Hadoop 之上的,因此 Hive 的可扩展性是和 Hadoop 的可扩展性是一致的(世界上最大的 Hadoop 集群在 Yahoo!,2009年的规模在 4000 台节点左右)。而数据库由于 ACID 语义的严格限制,扩展行非常...
手把手教你搭建分布式Hadoop家族集群视频教程(视频+讲义+笔记+配置),内容包括 Hadoop,SQOOP,Hive,Hbase的安装配置及集群搭建。内容包括但不限于: 01_回顾集群架构及配置集群时间同步 02_配置主节点与从节点...
4)安装Hadoop 5)配置环境变量 6)配置集群 7)单点启动 8)配置ssh 9)群起并测试集群 常见错误及解决方案 虚拟机准备 请参考文章: Cent OS 7系统的安装、VMware Tools安装及设置共享文件夹 虚拟机中克隆
docker版hbase集群构建,从docker安装开始,再到docker中下载并运行hadoop镜像,之后下载并配置hbase。最后对整个流程做总结,遇到的问题,以及一些docker基础知识和hbase教程。
说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google FileSystem),从此文件系统进入分布式时代...