当前位置:首页 > CN2资讯 > 正文内容

hadoop linux 登录 linux配置hadoop

9小时前CN2资讯


安装配置hadoop

1.到 《官网》 下载Hadoop

2.使用cd /usr命令,进入到usr目录下


并使用mkdir hadoop命令,创建一个hadoop目录,使用ls查看是否创建成功(一般没毒的话,应该都会创建成功)


4.将下载好的文件上传到linux环境中,准确说是上一步建好的hadoop目录下,方法有三:

(1)可以使用XShell的sudo rz的命令上传,但是有的可能会出现“传输失败”,如果失败了可以换换使用sudo rz -be进行上传

(2)使用XShell配套的xftp进行上传,xftp需 额外下载 (3)直接使用MobaXterm,自带上传,无需额外下载其他软件




4.上传完成后,使用ls命令,查看上传是否成功


5.执行sudo tar -zxvf hadoop-3.2.1.tar.gz命令,将tar包解压到当前文件夹中


使用ls命令,查看解压后的文件夹


6.执行vi /etc/profile(因为是使用的root用户,所以没加sudo),准备修改/etc/profile配置文件,打开文件到最后一行(可以使用“shift键 + G”直接到最后一行)


修改前截图为:


追加如下配置,截图如下(如果使用的是MobaXterm可以使用“shift键 + insert键”进行粘贴,XShell好像也可以):

# Hadoop Environment export HADOOP_HOME="/usr/hadoop/hadoop-3.2.1" export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

追加后截图为:


按esc(视频退出全屏➹),输入:wq保存并退出

7.执行source /etc/profile命令,使配置生效


8.使用hadoop version命令,查看hadoop 版本号,顺带检验hadoop 是否安装成功,安装成功,截图如下:


9.执行cd /usr/hadoop/hadoop-3.2.1/etc/hadoop/进入hadoop目录,并使用ls查看配置文件,截图如下:


10.执行sudo vi 命令,添加配置运行环境变量


增加如下配置:

export JAVA_HOME=/usr/java/jdk1.8.0_111 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

按esc(视频退出全屏➹),输入:wq保存并退出


11.执行sudo vi core-site.xml命令,修改core-site.xml文件,在configuration中添加如下配置


增加如下配置:

<property>    <name>fs.defaultFS</name>    <value>hdfs://master:9820</value> </property> <property>    <name>hadoop.tmp.dir</name>    <value>/usr/hadoop/hadoopdata</value> </property>

按esc(视频退出全屏➹),输入:wq保存并退出


12.执行sudo vi hdfs-site.xml命令,修改hdfs-site.xml配置文件


添加如下配置:

<property>    <name>dfs.replication</name>    <value>1</value> </property>

截图如下:


按esc(视频退出全屏➹),输入:wq保存并退出

13.执行sudo vi mapred-site.xml命令,修改mapred-site.xml配置文件


添加如下配置:

<property>    <name>mapreduce.framework.name</name>    <value>yarn</value> </property>

截图如下:


按esc(视频退出全屏➹),输入:wq保存并退出

14.执行sudo vi yarn-site.xml命令,修改yarn-site.xml配置文件


添加如下配置:

<property>   <name>yarn.nodemanager.aux-services</name>   <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CL ASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property>

截图如下:


按esc(视频退出全屏➹),输入:wq保存并退出15.执行sudo chmod -R 777 /usr/hadoop命令,将/usr/hadoop目录赋予777权限,否则后面格式化HDFS会报错


执行cd /usr/hadoop/hadoop-3.2.1命令,进入hadoop-3.2.1目录下


执行bin/hdfs namenode -format命令,格式化HDFS文件系统

注意:只需要格式化一次即可,如果多次格式化到后面可能会出现问题,到那时删除/usr/hadoop/hadoopdata目录后再重新格式化

16.执行sbin/命令,启动hadoop所有进程,截图如下:


启动完成后,执行jps命令(以后经常用),查看已经启动的进程:


在window浏览器中输入:http://192.168.52.200:8088/cluster(虚拟机ip地址)即可查看ResourceManager界面


输入http://192.168.52.200:9870/,查看namenode


输入http://192.168.52.200:9864,查看datanode

注:执行“”停止hadoop,以后启动、停止hadoop因为加入到环境变量中,所以不用在进入固定文件夹中启动了。

如果是虚拟机,记得做做快照(至于啥时候做快照,每个重要时间节点做一下就行,至于什么是重要时间姐姐,就看自己了(๑→ܫ←))


    你可能想看:

    扫描二维码推送至手机访问。

    版权声明:本文由皇冠云发布,如需转载请注明出处。

    本文链接:https://www.idchg.com/info/25608.html

    分享给朋友:

    “hadoop linux 登录 linux配置hadoop” 的相关文章

    Cn2等于什么?它将重新定义你对未来的想象

    在过去的几年中,Cn2已经从一个抽象的概念逐渐发展成为改变世界的重要力量。它不仅仅是一个简单的数学符号或化学元素,更是一个代表着科技、连接与未来的关键词。Cn2究竟等于什么?让我们一起揭开它的神秘面纱。Cn2可以理解为一种全新的思维方式。它代表着人类对复杂问题的解决方式,是对传统思维模式的突破与升级...

    日本VPS全面解析:高性能、低延迟的最佳选择

    日本VPS因其独特的地理位置和卓越的性能,成为许多用户的首选。日本作为亚洲的科技中心,拥有先进的网络基础设施和稳定的电力供应,这为VPS服务提供了坚实的基础。无论是个人用户还是企业用户,日本VPS都能满足多样化的需求。 日本VPS的优势 日本VPS的最大优势在于其地理位置。日本位于亚洲的中心地带,连...

    回国节点使用指南:轻松访问国内网站,畅享便捷网络体验

    回国节点的定义与作用 回国节点是一种特殊的网络技术,它允许用户通过位于中国境外的服务器访问国内被限制的网站或服务。这种技术对于那些在国外生活或旅行,但仍需要访问中国大陆网站的人来说非常有用。回国节点的主要作用是绕过地理限制,让用户能够像在国内一样自由地浏览和使用各种在线资源。 使用回国节点,用户不仅...

    探索美国冷门VPS:高性价比与个性化服务的优选

    在谈论VPS(虚拟专用服务器)时,人们往往会联想到那些知名的品牌和服务,而美国冷门VPS市场却是一个值得关注的领域。这些冷门VPS提供商虽然在整体市场中的知名度较低,但却为特定的用户群体和需求提供了颇具价值的服务。我在研究这个市场时,发现不少提供商在某些方面有着相当的优势,让我对这个冷门领域充满了好...

    CloudCone价格分析:如何利用促销活动节省费用

    在考虑使用CloudCone的产品时,价格是一个重要的考虑因素。CloudCone于2017年成立,专注于提供多样化的VPS主机和云服务器服务,主要在美国洛杉矶的MultaCom机房运营。以KVM架构为基础,CloudCone的VPS主机在性能和灵活性上都展现出色。其自研管理面板的设计,简化了用户的...

    国内注册ChatGPT的安全与实用指南

    在使用ChatGPT服务时,安全与隐私保护是非常重要的。首先,我总是尽量避免在聊天或任何交流中输入敏感信息。无论是个人身份、财务信息,还是其他隐私内容,我都保持警惕,确保我的信息不会被泄露。即便是在与AI进行对话时,这种谨慎也同样必要,因为即使是最可信的平台也无法完全保障信息不被滥用。 还有一点是选...