1. 教育行業A股IPO第一股(股票代碼 003032)

          全國諮詢/投訴熱線:400-618-4000

          yabo亚搏网页版

          更新時間:2022年04月22日15時50分 來源:yabo亚搏网页版 瀏覽次數:

          Spark部署模式分爲Local模式(本地單機模式)和集羣模式,在Local模式下,常用於本地開發程序與測試,而集羣模式又分爲Standalone模式(集羣單機模式)、Yarn模式和Mesos模式,關於這三種集羣模式的相關介紹具體如下:

          1.Standalone模式

          Standalone模式被稱爲集羣單機模式。Spark框架與Hadoop1.0版本框架類似,本身都自帶了完整的資源調度管理服務,可以獨立部署到一個集羣中,無需依賴任何其他的資源管理系統,在該模式下,Spark集羣架構爲主從模式,即一臺Master節點與多臺Slave節點,Slave節點啓動的進程名稱爲Worker,此時集羣會存在單點故障問題,後續將在Spark HA集羣部署小節講解利用Zookeeper解決單點問題的方案。

          2.Yarn模式

          Yarn模式被稱爲Spark on Yarn模式,即把Spark作爲一個客戶端,將作業提交給Yarn服務,由於在生產環境中,很多時候都要與Hadoop使用同一個集羣,因此採用Yarn來管理資源調度,可以有效提高資源利用率,Yarn模式又分爲Yarn Cluster模式和Yarn Client模式,具體介紹如下:

          lYarn Cluster:用於生產環境,所有的資源調度和計算都在集羣上運行。

          lYarn Client:用於交互、調試環境。

          3.Mesos模式

          Mesos模式被稱爲Spark on Mesos模式,Mesos與Yarn同樣是一款資源調度管理系統,可以爲Spark提供服務,由於Spark與Mesos存在密切的關係,因此在設計Spark框架時充分考慮到了對Mesos的集成,但如果你同時運行Hadoop和Spark,從 兼 容 性 的 角 度 來 看 ,Spark on Yarn是更好的選擇。

          上述三種分佈式部署方案各有利弊,通常需要根據實際情況決定採用哪種方案。由於學習階段我們是在虛擬機環境下模擬小規模集羣,因此可以考慮選擇Standalone模式。

          猜你喜歡:

          怎樣使用Spark方法完成RDD的創建?

          怎樣使用Spark Shell來讀取HDFS文件?

          Spark的應用場景有哪些?

          Spark的框架模塊和運行模式是什麼?

          0 分享到:

          javaee

          Python大數據課程python

          web前端課程全薪升級V8.0web

          UI設計培訓課程ui

          cloud

          軟件測試培訓課程test

          c

          新媒體運營培訓課程netmarket

          產品經理培訓課程pm

          linux培訓班Linux

          影視製作培訓movies

          智能機器人開發robot

          電商視覺設計uids

          人工智能培訓課程Python

          北京校區