Cloudera搭建分为两部分,第一部分是Cloudera Manager的安装过程,第二部分为CDH的安装
第一部分:CM安装
- 设置IP
- 在命令行中使用ifconfig查看当前ip, 确保我们刚才的设置已经生效
- 设置Host文件, 编辑/etc/hosts文件,设置IP地址与机器名的映射,设置信息如下(如果有多台节点,请将所有的IP和机器名映射写上):
10.1.5.120 hadoop001
- 使用如下命令对网络设置进行重启
- 验证是否成功
- 关闭防火墙(永久),执行该命令后重启机器生效
- 查看防火墙状态
以上表示已经关闭
- 关闭SElinux,修改/etc/selinux/config文件,将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
- 使用如下命令查看是否关闭 getenforce
- 设置机器名,以root用户登录,使用 vi /etc/sysconfig/network 打开配置文件,修改主机名称为hadoop001
- SSH无密码验证配置,切到./ssh目录
- 生成私钥和公钥:
ssh-keygen –t rsa
- 把公钥信息保存到authorized_key文件中
$cp id_rsa.pub authorized_keys
- 生成私钥和公钥:
-
下载Cloudera installer 5.0.1 http://archive.cloudera.com/cm5/installer/5.0.1/cloudera-manager-installer.bin
-
下载cloudera manager5.0.1所需的rpm包 http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.0.1/RPMS/x86_64/ 下所有文件保存
- 下载cloudera manager5.0.1所需的Parcel文件 http://archive.cloudera.com/cdh5/parcels/5.0.1/
在以上地址下载.parcel和.parcel.sha1和manifest.json文件
其中
CentOS 6.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CentOS 5.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el5.parcel
- 安装rpm文件
将下载的rpm包放入文件夹rpm(文件夹名随意)
cd ./rpm(进入rpm目录)
安装rpm包
- 搭建本地yum服务器
将所下载的所有rpm包放入/var/www/html/cm5/redhat/6/x86_64/cm/5.0.1/RPMS/x86_64
在/var/www/html/cm5/redhat/6/x86_64/cm/5.0.1/ 目录下执行createrepo .
命令,如果没有安装createrepo请自行百度
- 启动http服务
- 在浏览器输入http://10.1.5.120/cm5查看
- 将/etc/yum.repos.d目录下所有文件删除
执行touch cloudera-manager.repo
, 并将如下信息写入上述文件
- 安装rpm文件
赋执行权限: chmod u+x cloudera-manager-installer.bin
执行 ./cloudera-manager-installer.bin
- 将会有一个图形划的界面,全部YES并且Next,其中产生的log会记录在/var/log/cloudera-manager-installer目录下
- 将
.parcel
和.parcel.sha1
和manifest.json
文件拷贝到/opt/cloudera/parcel-repo
文件夹下
- 将.parcel.sha1文件重命名为.parcel.sha
第二部分:CDH安装
- 打开
http://10.1.5.120:7180/
然后以默认的用户名和密码(admin:admin)登录,选定要使用的版本(本人使用的是完全免费版,第一个),Next
- 在接下来的搜索框中输入IP地址,并点击搜索,选中所选出的主机
- 在下一页中选择我们下载的Parcel
- 在接下来配置SSH的用户名和密码,此处建议使用hadoop,为所有的集群用户添加hadoop用户,本人简化版,使用root用户
- 接下来就看到正在安装的画面了
- CHD正在分配到主机
- 为服务Cloudera设置Metadata数据库(使用系统自带嵌入式PostgreSQL)
- 系统展示最后的设置信息,如果想在安装过程修改,这是最后一次机会。
- 所有安装完成:返回监控主页面
参考资料
Cloudera Manager (centos)安装详细介绍 : http://www.aboutyun.com/thread-9190-1-1.html
Cloudera 官网文档 :http://www.cloudera.com/