5月
12
基于Kickstart的Hadoop集群自动化部署
在 基于Kickstart & PXE的CentOS无人值守安装 一文中，介绍了一种高度自动化的RedHat Linux安装方式。由于Kickstart支持脚本，利用Kickstart技术也可以实现Hadoop集群的自动化部署。本文试构建一种利用Kickstart脚本根据资源分配文件自动化部署Hadoop集群的方案。 Kickst … Continue reading
Tag Archives: Hadoop
4月
27
Hadoop伪分布式运行
Hadoop可以在单节点上以所谓的伪分布式模式运行，此时每一个Hadoop守护进程都作为一个独立的Java进程运行。本文通过自动化脚本配置Hadoop伪分布式模式。测试环境为VMware中的Centos 6.3, Hadoop 1.2.1.其他版本未测试。 伪分布式配置脚本 包括配置core-site.xml，hdfs-site.xml及 … Continue reading
4月
26
Hadoop自动化安装及单节点方式运行
本文尝试使用shell脚本来自动化安装配置Hadoop。使用的操作系统为CentOS，Hadoop版本为 1.x，jdk版本 1.7，其他版本未测试，可能有未知bug。 Hadoop安装脚本 Hadoop安装分为3步，首先安装jdk，然后安装Hadoop，接着配置ssh免密码登陆(非必须)。[1] 单节点运行自带示例 默认情况下，Hado … Continue reading