当前位置:首页 > CN2资讯 > 正文内容

linux hadoop命令 linux hadoop配置

6小时前CN2资讯

一、准备
1,配通网络 ping www.baidu.com
之前安装虚拟机时配过
2,关闭防火墙

systemctl stop firewalld systemctl disable firewalld(开机自动关闭)

3,关闭 selinux

vi /etc/selinux/config

修改为selinux disabled
4,关闭 NetworkManager

systemctl stop NetworkManager systemctl disable NetworkManager

5,修改计算机名 hadp01(根据个人喜好)
6,配置yum源
安装 yum install wget
做个备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 运行 yum makecache 生成缓存
7,备份,做个快照
二、Hadoop的安装与配置
1,下载hadoop
https://dist.apache.org/repos/dist/release/hadoop/common/

2,先创建几个目录

mkdir /opt/install 上传 /opt/software 安装 /opt/other 其他 /opt/test 测试 a.上传 rz


解压 tar -zxvf jdk-8u181-linux-x64.tar.gz 和 tar -zxvf hadoop-2.7.7.tar.gz
jdk:

cd /opt/install #进入安装包目录 rz jdk-8u181-linux-x64.tar.gz #上传JDK tar -zxvf jdk-8u181-linux-x64.tar.gz #解压JDK mv jdk1.8.0_181 ../software/jdk1.8 #移动到/opt/software目录 Hadoop: cd /opt/installe #进入/opt/installe目录 rz hadoop-2.7.7.tar.gz #上传hadoop2.7.7版本 mv hadoop-2.7.7.tar.gz ../software/hadoop-2.7.7 #移动到software目录 b.移动到安装目录中software mv jdk1.8 ../software mv hadoop-2.7.7 ../software c.配置环境变量 vim /etc/profile #编辑环境变量 JAVA_HOME=/opt/software/jdk1.8 HADOOP_HOME=opt/software/hadoop-2.7.7 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile #使环境变量生效 测试 是否配置成功 echo $PATH

3,伪分布式
A,修改主机名 vim /etc/hostname #编辑主机名文件
hadp01
B,修改主机映射
vim /etc/hosts #编辑主机映射文件
192.168.1.63(IP) hadp01(主机名)
C,实现ssh免密码登录
ssh-keygen #生成密钥对
ssh-copy-id hdp01 #将公钥拷贝给本机
ssh-copy-id hdp02 #将公钥拷贝给其他机
再回车一下会出来一个图形就OK了,重启
D,修改/opt/software/hadoop-2.7.7/etc/hadoop目录内的一系列文件

cd /opt/software/hadoop-2.7.7 #进入hadoop-2.7.7目录

vim etc/hadoop/ #编辑配置文件 export JAVA_HOME=/opt/software/jdk1.8 #修改25行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行 2.core-site.xml <configuration> <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://主机名:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop-2.7.7/tmp</value> </property> </configuration> 3.hdfs-site.xml <configuration> <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> 4.mapred-site.xml <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 5.yarn-site.xml <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>主机名</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> E,修改slaves文件 vim etc/hadoop/slaves 将里面的localhost删除 改为hadp01 F,格式化文件系统 hadoop namenode -format G,启动Hadoop 全部启动 全部关闭 jps 查看节点启动情况 H,测试Hadoop http://主机IP:port/ NameNode web工程 端口号:50070

   DataNode web工程 端口号:50075

   SecondaryNameNode web工程 端口号:50090

   ResourceManager web工程 端口号:8088



    你可能想看:

    扫描二维码推送至手机访问。

    版权声明:本文由皇冠云发布,如需转载请注明出处。

    本文链接:https://www.idchg.com/info/32291.html

    分享给朋友:

    “linux hadoop命令 linux hadoop配置” 的相关文章

    使用newcom598优惠码注册域名,享受超值价格

    什么是newcom598优惠码? 我想和大家分享一个超值的优惠信息,那就是newcom598优惠码。这是一个专为Namecheap的新用户设计的优惠码,意在帮助刚开始建立自己在线业务的人以超优惠的价格注册.COM域名。通过这个优惠码,新用户可以以仅$5.98的价格获得首年的.COM域名,这样算下来在...

    选择最佳Gigabit VPS托管服务指南

    当我第一次听说Gigabit VPS时,我很快意识到它不仅是一个技术术语,而是一个可以极大改进在线业务性能的工具。那么,Gigabit VPS究竟是什么呢?简而言之,Gigabit VPS意指那些配备每秒10千兆位网络连接的虚拟专用服务器。这种高带宽的连接速度,显然适合那些需要流畅流媒体、快速文件传...

    SpartanHost VPS主机评测:高性能与安全性的理想选择

    在我开始探索VPS主机市场时,SpartanHost引起了我的注意。这个公司成立于2013年,自那时起便在行业中扎根,专注于提供高性能的VPS解决方案。他们使用的是基于KVM架构的主机产品,充分满足用户的需求。从他们的运营历史来看,尽管时间不算很久,但SpartanHost凭借其稳定的服务和灵活的选...

    如何选择合适的免费VPS服务并有效利用

    免费VPS概述 在研究云计算相关技术的时候,VPS(虚拟专用服务器)成了一个非常重要的概念。简单来说,VPS是一种通过虚拟化技术来划分的服务器,每个VPS都是独立的,用户可以获得与一个物理服务器类似的操作体验。作为个人开发者或中小企业的选择,VPS提供了灵活性和可控性,是许多人搭建网站或开发项目的理...

    如何以便宜价格注册com域名并降低续费成本

    在互联网的世界中,com域名是最为人熟知和广泛使用的顶级域名之一。当我第一次接触域名注册时,com域名吸引我的是它的简单性和易记性。每当有人提到网站地址,往往就是以.com结尾的,这使得它成为许多企业和个人建立在线存在的主流选择。 com域名的意义不仅仅在于一个简单的名称。它代表了商业形象、品牌价值...

    深入了解DC9飞机的历史、技术特点与运营经验

    DC9概述 了解DC9这款飞机,首先得从它的历史说起。DC9,或称道格拉斯DC-9,是由道格拉斯飞机公司设计制造的中短程单通道喷气式客机。这款飞机的诞生可以追溯到20世纪60年代。道格拉斯公司在这段时间逐步崛起,骄傲地推出了DC9作为回应当时日益增长的民航市场需求。最初的设计版本虽然体积不大,但凭借...