本站教程收集整理的这篇文章主要介绍了Spark集群搭建——SSH免密码验证登陆，本站教程本站觉得挺不错的，现在分享给大家，也给大家做个参考。

Spark集群SSH免密码验证登陆

机器准备

笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。通过ping验证三台是可以通信的。

192.168.248.150 spark-master 192.168.248.153 ubuntu-worker 192.168.248.155 spark-worker1

根据机器信息加入到三台机器的/etc/hosts中。

//将虚拟机改为桥接模式，宿主机连入同一局域网即可实现Ubuntu在同一网段下

配置

我们需要设置spark-master 能够免密码验证登陆ubuntu-worker、spark-worker1两台机器。

1. 安装ssh

   sudo apt-get install openssh-server

2. service ssh start

3. 检查ssh服务开启状态

   ps -s | grep ssh

4. 生成秘钥

   执行命令ssh-keygen -t 美国高防vps rsa，然后一直按回车键即可。

5. 复制spark-master结点的id_rsa.pub文件到另外两个结点：

   sup -r ?id_rsa.pub spark@ubuntu-worker:~/.ssh/

6. 到另外两个结点，将公钥加到用于认证的公钥文件中:

   cat id_rsa.pub >> authorized_keys

7. 修改两个worker的authorized_keys权限为600或者644、将.ssh文件权限改为700

   chmod 700 .ssh

   chmod 600 ?authorized_keys

8. 验证:

   登陆spark-master，在终端输入ssh ubuntu-worker,登陆成功则说明配置成功

本站总结

以上是本站教程为你收集整理的Spark集群搭建——SSH免密码验证登陆全部内容，希望文章能够帮你解决Spark集群搭建——SSH免密码验证登陆所遇到的程序开发问题。

如果觉得本站教程网站内容还不错，欢迎将本站教程推荐给好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。