如何在CentOS 8上安装Apache Spark

CentOS 8安装Apache Spark

步骤1.首先,让我们首先确保您的系统是最新的并安装所有必需的依赖项。

sudo dnf install epel-release
sudo dnf update

步骤2.安装Java。

上一篇文章介绍了本文中的Java安装。然后,通过以下命令行签出Java版本:

java -version

步骤3.安装Scala。

Apache Spark是用Scala编程语言实现的,因此我们必须安装Scala才能运行Apache Spark,因此我们只需要确保存在Java和Python:

wget https://www.scala-lang.org/files/archive/scala-2.13.4.tgz
tar xvf scala-2.13.4.tgz
sudo mv scala-2.13.4 /usr/lib
sudo ln -s /usr/lib/scala-2.13.4 /usr/lib/scala
export PATH=$PATH:/usr/lib/scala/bin

安装完成后,检查scala版本:

scala -version

步骤4.在CentOS上安装Apache Spark 8。

现在,我们从官方来源下载最新版本的Apache Spark:

wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
tar -xzf spark-3.0.1-bin-hadoop2.7.tgz
export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

在启动spark之前,请设置一些环境变量:

echo 'export PATH=$PATH:/usr/lib/scala/bin' >> .bash_profile
echo 'export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7' >> .bash_profile
echo 'export PATH=$PATH:$SPARK_HOME/bin' >> .bash_profile

独立的Spark集群可以手动启动,即在每个节点上执行启动脚本,也可以简单地使用可用的启动脚本。为了进行测试,我们可以在同一台机器上运行主守护程序和从守护程序:

./sbin/start-master.sh

步骤5.为Apache Spark配置防火墙。

运行以下命令以打开防火墙上的端口:

sudo firewall-cmd --permanent --zone=public --add-port=7077/tcp
sudo firewall-cmd --reload

步骤6.访问Apache Spark Web界面。

默认情况下,Apache Spark将在HTTP端口7077上可用。打开您喜欢的浏览器,然后浏览至或完成所需的步骤以完成安装。http://your-domain.com:7077http://server-ip-address:7077

apache-spark-installation

恭喜你!您已经成功安装了Apache Spark。使用本教程在CentOS 8系统上安装Apache Spark开源框架。有关其他帮助或有用信息,我们建议您检查Apache Spark官方网站

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun39435.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2021年2月24日 下午5:34
下一篇 2021年2月24日 下午5:39

相关推荐

  • 如何在Fedora 38上安装Apache Spark

    Apache Spark,一个开源的分布式计算系统,已经彻底改变了大数据处理和分析的世界。它提供闪电般的数据处理功能,使其成为数据工程师和数据科学家的首选。 在 Fedora 38…

    Linux命令 2023年10月1日
  • 如何修复 Windows 11 中的视频 DXGKRNL 致命错误

    一些用户抱怨他们的计算机经常崩溃并显示停止代码VIDEO DXGKRNL FATAL ERROR。 此特定问题仅偶尔发生,并且错误检查值为 0x00000113,这表明 Micro…

    2021年12月9日 Win 11
  • 如何在 CentOS 8 上安装 MicroK8s

    MicroK8s 是一个面向开发人员、物联网和 Edge的小型、快速、单包Kubernetes。一个命令在 Linux、Windows 和 macOS 上安装带有精心挑选的附加组件…

    2021年9月4日
  • 如何在 CentOS 8 上安装 ArangoDB

    ArangoDB 是一个开源 NoSQL 数据库管理器,提供现代 Web 应用程序所需的所有数据库功能。ArangoDB 不像 MySQL 或 PostgreSQL 那样使用传统的…

    Linux命令 2021年8月1日
  • 如何在 CentOS 8 上安装 OpenSSL

    OpenSSL 是一个强大的、商业级的、功能齐全的传输层安全 (TLS) 协议开源工具包以前称为安全套接字层 (SSL) 协议。协议实现基于全功能通用密码库,也可以独立使用。Ope…

    2021年7月12日
  • 如何在 CentOS 8 上安装 Monit

    Monit 是 Linux 操作系统的开源进程跟踪工具,可帮助您监控系统进程。它会自动对特定过程进行维护和修复,并确保它重新上线。Monit 还可用于处理和监控包、文件、目录、文件…

    2021年7月5日
  • 如何在 CentOS 8 上安装 Google Cloud SDK

    Google Cloud SDK 包含的工具和库使您能够在 Google Cloud Platform 上轻松创建和管理资源。它也支持 Linux、Mac 和 Windows。 在…

    2021年6月29日
  • 如何在 CentOS 8 上安装 WebERP

    webERP 是一个免费、开源且完整的基于 Web 的会计和业务管理系统。您只需要一个网络浏览器和 PDF 阅读器即可使用 webERP。使用 webERP,您可以管理许多事情,包…

    2021年6月23日
  • 如何在 CentOS 8 上安装 VeraCrypt

    VeraCrypt 是适用于 Windows、Mac OS X 和 Linux 的免费开源磁盘加密软件。如果攻击者强迫您透露密码,VeraCrypt 会提供合理的否认。相比之下,对…

    2021年6月15日
  • 六月的补丁星期二修复了 7 个零日 Windows 漏洞,这些漏洞在野外被利用最多

    点击进入:ChatGPT工具插件导航大全 Windows 11 Pro ISO文件在哪下载最新版?如何下载原装纯净版Win11 ?点击进入   持续更新! 本月的更新很糟糕,修复了…

    2021年6月9日
  • 如何在 CentOS 8 上安装 Caddy

    Caddy Web 服务器是一个用Go编写的开源 Web 服务器。它围绕简单性和安全性而设计,具有许多对托管网站有用的功能。Caddy 旨在支持所有流行平台,这就是为什么它适用于 …

    2021年6月8日
  • 如何在CentOS 8上安装Jitsi Meet

    Jitsi Meet是市场上流行的开源视频会议工具之一。Jitsi Meet是Zoom,Skype和Google Meet的一种简单,优雅且安全的替代方案,它支持所有常见的浏览器以…

    2021年5月28日
  • 如何在CentOS 8上安装Roundcube Webmail

    Roundcube是使用PHP编程语言编写的流行Webmail接口。您可以通过Roundcube Web界面上的POP / IMAP访问在Linux服务器上创建的邮箱。 在Cent…

    2021年5月25日
  • 如何在CentOS 8上安装Polr

    Porr是一种快速,现代且开源的链接简化程序。它允许您托管自己的URL缩短器,标记URL并控制数据。Polr可以帮助您推广在线品牌,因为通过跟踪每个链接的点击可以更方便地共享短链接…

    2021年5月25日
  • 如何在CentOS 8上安装Samba

    Samba是一个免费的开源软件,可用于在Linux之间共享文件,文件夹和打印机。和Windows系统。 在CentOS 8上安装Samba 步骤1.首先,让我们首先确保您的系统是最…

    2021年5月17日
  • 如何在CentOS 8上安装Virtualmin

    Virtualmin是一个免费的服务器控制面板(也提供Pro版本)。它有助于使用Apache,Nginx,PHP,DNS,MySQL,FTP,SSH等管理网站(主机)。它基于著名的…

    2021年5月9日
  • 如何在CentOS 8上更改时区

    默认情况下,在配置服务器时,默认时区将自动使用协调世界时(UTC)进行配置。 。在CentOS上,系统的时区是在安装过程中设置的,但以后可以轻松更改。 在CentOS 8上更改时区…

    2021年5月5日
  • 如何在CentOS 8上安装Telnet远程工具

    Telnet是提供双向交互式基于文本的通信的应用程序层协议。它在服务器/客户端模式下工作,在该模式下,将Telnet服务器应用程序安装在主计算机上,并且所有其他计算机都使用Teln…

    2021年5月5日
  • 如何在CentOS 8上安装Telnet

    Telnet是提供双向交互式基于文本的通信的应用程序层协议。它在服务器/客户端模式下工作,在该模式下,将Telnet服务器应用程序安装在主计算机上,并且所有其他计算机都使用Teln…

    2021年4月30日
  • 如何在CentOS 8上安装NTP服务器

    Chrony是网络时间协议(NTP)的实现。Chrony通常将计算机与Internet时间服务器或其他资源(例如无线电或卫星接收器或电话调制解调器服务)同步。它也可以用作客户端系统…

    2021年4月23日
  • 如何在CentOS 8上安装TeamSpeak

    TeamSpeak是跨平台的语音服务器或VOIP应用程序,用于通过Internet进行实时语音聊天。游戏玩家通常使用它来与队友进行交流,以提供清晰的声音,无延迟的性能,军事级的安全…

    2021年4月23日
  • 如何在CentOS 8上安装Deluge BitTorrent客户端

    Deluge使用了前端和后端架构,其中libtorrent是用C ++编写的软件库,可提供应用程序的功能。网络逻辑通过项目自己的Python绑定使用GTK +连​​接到各种前端之一…

    2021年4月21日
  • 如何在CentOS 8上安装Dig

    在CentOS 8上安装Dig 步骤1.首先,让我们首先确保您的系统是最新的。 sudo dnf update sudo dnf install epel-release 步骤2.…

    2021年4月20日
  • 如何在CentOS 8上安装Apache Subversion

    Apache Subversion(SVN)是一个免费的开源版本控制系统,用于管理和跟踪Windows中的更改。文件和目录。每次更改,添加或删除使用Subversion管理的文件或…

    2021年4月20日
  • 如何在CentOS 8上安装Flectra

    Flectra是一个免费和开源的CRM(客户关系管理)和ERP(企业资源计划)软件系统。提供了很大的灵活性和自定义性,可让您满足业务的独特需求。简而言之,Flectra为您提供了一…

    2021年4月12日