当前位置:首页 > CN2资讯 > 正文内容

hadoop 选举服务器 登录hadoop服务器

3天前CN2资讯

配置远程登录

1)         在自己的linux机上搭好hadoop

2)         修改linux的hosts文件

# vim /etc/hosts

在hosts文件的最下面一行添加,格式为:

第一部份:网络IP地址。

第二部份:主机名.域名,注意主机名和域名之间有个半角的点。

第二部份:主机名(主机名别名) ,其实就是主机名。

比如:192.168.1.109 hadoop-master.localdomain hadoop-master

当然每行也可以是两部份,就是主机IP地址和主机名;

比如:192.168.1.109 hadoop-master

3)         修改hadoop下的core-site.xml,yarn-site.xml,mapred-site.xml,hdfs-site.xml

将里面的所有localhost全部改成hadoop-master

4)         重启linux系统,然后打开所有hdfs和yarn的进程,在另一台机器的浏览器上输入192.168.1.109:8088 192.168.1.109:50070 192.168.1.109:50090看是否能得到对应的页面(PS:正确页面在hadoop的安装配置一文中有),如果有,在进入cmd用telnet指令去联通以上三个端口,如果都没问题,则表示配置成功。

5)         如果以上4步都通过了,那么恭喜啦,你就可以开始远程登陆你的hadoop了,可以用secureCRT来仿真终端,可以用FileZilla来进行文件传输等等。

配置远程调试

1.首先准备好一个hadoop2.x的eclipse插件,我用的是myeclipse 10,其插件同样可用。

2.将hadoop解压到对应的目录下,并配置好hadoop_home和path(类似jdk的配置),替换hadoop根目录下的bin文件夹(用来替换的bin文件夹下载链接:http://pan.baidu.com/s/1sjupu3N)然后在cmd中输入hadoop如有以下显示,则表示成功

3.可能会出的错误

在运行的调试过程中有可能会报如下错误:

org.apache.hadoop.io.nativeio.NativeIO$Windows. access(NativeIO.java:557)

这应该是hadoop的一个bug,我们先来看看源码

如果在替换过本地的hadoop/bin文件夹后还报这个错,那我们只能修改源码的,即将图中红框部分注释掉,改成return true,并在project根目录下创建下图所示的包,并将修改后的类文件考进去

这个文件我已经改过了,下载链接为:http://pan.baidu.com/s/18Xdgi

4.正式进入调试阶段



    你可能想看:

    扫描二维码推送至手机访问。

    版权声明:本文由皇冠云发布,如需转载请注明出处。

    本文链接:https://www.idchg.com/info/23244.html

    分享给朋友:

    “hadoop 选举服务器 登录hadoop服务器” 的相关文章

    香港服务器CN2线路服务器接口图:企业网站优化新选择

    香港服务器CN2线路的优势与核心功能在当今互联网时代,网站的速度和稳定性是决定用户体验的关键因素。无论是企业官网、电商网站还是应用程序,用户都希望能够在最短时间内加载内容并完成交互操作。由于地理位置、网络带宽、线路延迟等多种因素的影响,许多网站在国内外访问时可能会遇到卡顿、加载慢等问题。为了应对这一...

    Amazon Lightsail Free Tier 全面解析:如何免费体验并最大化利用 AWS 入门服务

    Amazon Lightsail 的免费层(Free Tier)为新用户提供了一个绝佳的机会,可以在不产生额外费用的情况下体验其服务。这个免费试用期不仅让用户能够熟悉 Lightsail 的功能,还能为后续的使用打下基础。下面我们将从免费试用时长、资源限制、套餐内容以及超出免费套餐的计费方式等方面,...

    解决Hostodo打不开的有效方法和详细步骤

    在使用Hostodo的过程中,偶尔会遇到打不开的情况。这种问题可能会让人感到挫败,但其实有几个常见原因可以帮助我们找到解决办法。首先,网络连接问题是最普遍的原因之一。无论是局域网的配置,还是Wi-Fi的信号不稳定,都会导致连接失败。我记得第一次遇到这种情况时,发现原来是我的路由器出了问题,重新启动后...

    国外云服务器推荐:如何选择适合你的云服务平台

    国外云服务器概述 云计算是近年来一个热门的话题,我常常听到朋友们讨论它的好处。那么,什么是云计算呢?简单来说,云计算是一种利用互联网提供计算机服务的方式。用户可以通过互联网访问服务器、存储、数据库和软件等基础设施,省去了传统硬件的维护和管理。这种技术的发展,使得企业和个人能够更加灵活和高效地使用计算...

    2024年如何获取免费VPS服务:开发者的最佳选择

    在解释什么是免费VPS之前,我想先来聊聊“VPS”这个概念。虚拟专用服务器(VPS)可以理解为一种在服务器上创建多个虚拟环境的技术。这些环境如同独立的服务器,用户可以在上面进行程序的开发和测试。而“免费VPS”则意味着用户可以在一定的限度内,无需付费地使用这些虚拟环境。对于初创公司或个人开发者而言,...

    SSH Client Windows 登录指南:轻松配置与高级功能使用

    SSH 客户端在 Windows 中的概述 SSH,也就是安全外壳协议,是一种用来在网络中进行安全数据传输的协议。它确保数据的机密性和完整性,这对于网络管理员和开发者来说是至关重要的。在Windows中,SSH客户端直接关系到我们如何安全地登录到远程计算机。通过SSH,用户可以安全地执行命令、传输文...