Freud's Blog

Stay hungry, stay foolish. 少年辛苦终身事,莫向光阴惰寸功。

Hadoop 之(二) - cloudera 5.0.1 安装

Posted on By Freud Kang

Cloudera搭建分为两部分,第一部分是Cloudera Manager的安装过程,第二部分为CDH的安装

第一部分:CM安装

  • 设置IP
vi /etc/sysconfig/network-scripts/ifcfg-eth0

change ip

  • 在命令行中使用ifconfig查看当前ip, 确保我们刚才的设置已经生效

check ip

  • 设置Host文件, 编辑/etc/hosts文件,设置IP地址与机器名的映射,设置信息如下(如果有多台节点,请将所有的IP和机器名映射写上):10.1.5.120 hadoop001

设置机器名映射

  • 使用如下命令对网络设置进行重启
sudo /etc/init.d/network restart
  • 验证是否成功

检查机器名映射是否成功

  • 关闭防火墙(永久),执行该命令后重启机器生效
chkconfig iptables off
  • 查看防火墙状态
service iptables status 

查看防火墙状态

以上表示已经关闭

  • 关闭SElinux,修改/etc/selinux/config文件,将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效

关闭SElinux

  • 使用如下命令查看是否关闭 getenforce

查看SElinux关闭状态

  • 设置机器名,以root用户登录,使用 vi /etc/sysconfig/network 打开配置文件,修改主机名称为hadoop001

设置机器名


在以上地址下载.parcel和.parcel.sha1和manifest.json文件

其中
CentOS 6.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CentOS 5.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el5.parcel

  • 安装rpm文件

将下载的rpm包放入文件夹rpm(文件夹名随意)
cd ./rpm(进入rpm目录)
安装rpm包

yum localinstall –-nogpgcheck  *.rpm
  • 搭建本地yum服务器

将所下载的所有rpm包放入/var/www/html/cm5/redhat/6/x86_64/cm/5.0.1/RPMS/x86_64
在/var/www/html/cm5/redhat/6/x86_64/cm/5.0.1/ 目录下执行createrepo . 命令,如果没有安装createrepo请自行百度

  • 启动http服务
service httpd start
  • 在浏览器输入http://10.1.5.120/cm5查看

查看http服务启动状况

  • 将/etc/yum.repos.d目录下所有文件删除

执行touch cloudera-manager.repo, 并将如下信息写入上述文件

[cloudera-manager]
name=cloudera manager repository
baseurl=http://10.1.5.120/cm5/redhat/6/x86_64/cm/5.0.1/
enabled=1
gpgcheck=0
  • 安装rpm文件

赋执行权限: chmod u+x cloudera-manager-installer.bin
执行 ./cloudera-manager-installer.bin

  • 将会有一个图形划的界面,全部YES并且Next,其中产生的log会记录在/var/log/cloudera-manager-installer目录下

查看http服务启动状况

  • .parcel.parcel.sha1manifest.json文件拷贝到/opt/cloudera/parcel-repo文件夹下

查看http服务启动状况

  • 将.parcel.sha1文件重命名为.parcel.sha

将.parcel.sha1文件重命名

第二部分:CDH安装

  • 打开http://10.1.5.120:7180/然后以默认的用户名和密码(admin:admin)登录,选定要使用的版本(本人使用的是完全免费版,第一个),Next

选择版本

  • 在接下来的搜索框中输入IP地址,并点击搜索,选中所选出的主机

搜索可用IP

  • 在下一页中选择我们下载的Parcel

选中Parcel文件

  • 在接下来配置SSH的用户名和密码,此处建议使用hadoop,为所有的集群用户添加hadoop用户,本人简化版,使用root用户

配置用户名和密码

  • 接下来就看到正在安装的画面了

安装进度1

  • CHD正在分配到主机

安装进度2

  • 为服务Cloudera设置Metadata数据库(使用系统自带嵌入式PostgreSQL)

设置Metadata数据库

  • 系统展示最后的设置信息,如果想在安装过程修改,这是最后一次机会。

设置信息

  • 所有安装完成:返回监控主页面

监控主页面



参考资料

Cloudera Manager (centos)安装详细介绍 : http://www.aboutyun.com/thread-9190-1-1.html

Cloudera 官网文档 :http://www.cloudera.com/