Spark運行模式——Local模式

2021-01-09 分享電腦學習

首先需要下載Spark

1．官網地址 http://spark.apache.org/2．文檔查看地址 https://spark.apache.org/docs/2.1.1/3．下載地址 https://archive.apache.org/dist/spark/

Local模式

Local 模式就是指的只在一臺計算機上來運行 Spark.

通常用於測試的目的來使用 Local 模式, 實際的生產環境中不會使用 Local 模式.

解壓Spark安裝包

把安裝包上傳到/opt/software/下, 並解壓到/opt/module/目錄下

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module

然後複製剛剛解壓得到的目錄, 並命名為spark-local:

運行官方的PI的案例

bin/spark-submit\--class org.apache.spark.examples.SparkPi \--master local[2] \./examples/jars/spark-examples_2.11-2.1.1.jar 100

結果展示

用run-examples來運行！

bin/run-example SparkPi 100

使用 Spark-shell

首先創建兩個文本文件

打開 Spark-shell

bin/spark-shell

查看進程和通過 web 查看應用程式運行情況

運行 wordcount 程序

sc.textFile("input/").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).collect

通過WEB UI 來查看程序

相關焦點

  • 數據分析工程師面試集錦5——Spark面試指南
    2）worker不會運行代碼，具體運行的是Executor，worker可以運行具體appliaction寫的業務邏輯代碼，操作代碼的節點，它不會運行程序的代碼的。4、Spark Driver的功能是什麼?
  • 手把手教你在本機安裝spark
    也可以使用命令行進行解壓：sudo tar -zvxf spark-3.0.0-preview2-bin-hadoop2.7.tgz解壓完了之後記住你放的位置，當然我更建議你放在專門的位置。或者可以放在/usr/local下。
  • 停止使用Pandas並開始使用Spark+Scala
    此外，由於意外的數據類型或空值，我們經常會看到許多運行時錯誤。 通過將Spark與Scala結合使用，解決方案感覺更強大，重構和擴展更容易。　　· Spark是Apache開源框架　　· 它可用作庫並在"本地"集群上運行，或在Spark集群上運行　　· 在Spark集群上，可以以分布式方式執行代碼，其中一個主節點和多個工作節點共享負載　　· 即使在本地群集上，您仍然可以看到與Pandas相比的性能提升，我們將在下面介紹原因　　為什麼要使用Spark？
  • SparkCore——專業術語及流程圖
    1，Applicationapplication（應用）其實就是用spark-submit提交的程序。比方說spark examples中的計算pi的SparkPi。有client和cluster聯眾模式。client模式driver在任務提交的機器上運行，而cluster模式會隨機選擇機器中的一臺機器啟動driver。從spark官網截圖的一張圖可以大致了解driver的功能。3，JobSpark中的Job和MR中Job不一樣不一樣。MR中Job主要是Map或者Reduce Job。
  • 每個數據科學家都得會一點SparkMagic
    合理使用和公共領域圖標和svg | 圖源：MITSparkMagic能夠：· 以多種語言運行Spark代碼· 提供可視化的SQL查詢·>RUN mkdir /home/$NB_USER/.sparkmagicRUN wget https://raw.githubusercontent.com/jupyter-incubator/sparkmagic/master/sparkmagic/example_config.jsonRUN mv example_config.json /home/$NB_USER
  • 淺談伺服電機各種運行模式
    淺談伺服電機各種運行模式 工程師譚軍 發表於 2018-09-24 16:36:00 　　伺服驅動器   　　伺服驅動器（servo drives
  • 提升47% 解決內存延遲,AMD 為線程者2 新增 Dynamic Local 模式
    現在 AMD 似乎已找到解決問題的方法，近日 AMD 在博客發表了一篇文章，表示將為 Ryzen Threadripper WX 系列處理器增加新的 Dynamic Local Mode(動態本地模式) 功能，該功能可自動將系統中要求苛刻的程序轉移到 Local memory access (本地內存入口)的 WX 系列處理器的核心之上，以解決內存的延遲問題
  • 小區湧泉曝氣機的兩種運行模式分別怎麼運行的
    小區湧泉曝氣機的兩種運行模式分別怎麼運行的 ,「tyct5」  【中藍水處理】小區湧泉曝氣機專業生產廠家是一家集科研、設計、製造、銷售、服務於一體的生產小區湧泉曝氣機、潛水推進器、潛水推流器等產品的南京環保企業。        小區湧泉曝氣機一次颱風的使用壽命約為，小時。
  • 三菱Q系列PLC,QD75模塊手動運行三種模式
    QD75模塊手動運行三種模式：JOG運行：啟動信號有，就走；沒有就停。微動運行：跟JOG運行模式一樣，就是微移動量設置>0。如=0，就為JOG模式。手輪運行：接手輪脈衝發生器。三種模式只能選其一。
  • 我國第三代氣候模式即將準業務化運行
    11月16日，更準確回答這些氣候關鍵問題的科技利器——我國氣象部門自主研發的次季節-季節-年際尺度一體化氣候模式預測業務系統（BCC-CPSv3）通過評審，即將進入準業務化運行。　　作為國際氣候變化研究前沿課題，氣候預測是一道世界性難題，其背後是國家防災減災、應對氣候變化工作的迫切需求。
  • 「研究」新型研發機構常見組織架構及運行模式研究
    1）多元投資設立的新型研發機構，原則上應實行理事會、董事會（以下簡稱「理事會」）決策制和院長、所長、總經理（以下簡稱「院所長」）負責制，根據法律法規和出資方協議制定章程，依照章程管理運行。
  • Spark在360商業數據部的應用實踐
    由於之前大部分數據分析工作都是通過使用hive命令行完成的，為了將遷移至SparkSQL的代價最小，360系統部的同事開發了SparkSQL的命令行版本spark-hive。原有的以hive 命令運行的腳本，簡單的改成spark-hive便可以運行。360系統部的同事也做了大量兼容性的工作。spark-hive目前已經比較穩定，成為數據分析的首選。
  • 深入對比數據科學工具箱: SparkR vs Sparklyr
    Spark 環境配置需要注意的問題：下載和 Hadoop 對應版本號的發行版，具體可以通過 sparklyr::spark_available_versions() 查詢可用的spark版本JAVA_HOME/SPARK_HOME/HADOOP_HOME 是必須要指定的環境變量，建議使用 JDK8/spark2
  • 「sparkr+sparkr mini」 打火機手電筒完美合體
    「sparkr」與「sparkr mini」將他們「古怪的」設計特色與生產日常用品的願望相結合。這套造型別致的多功能全新系列作品能夠讓使用者們隨時隨地生火或照明。經過無數次的討論，power practical的工業設計師mckay nilson 開始著手模擬「sparkr」可能的外形。設計定稿後，整個團隊立即開始打造產品原型進行測試。
  • 橋接模式與路由器模式的區別
    也可以用RFC 1483 BRIDGED，然後接入PC，在PC上運行PPPOE撥號軟體進行撥號，或接入寬帶路由器，由寬帶路由器的內置PPPOE撥號工具進行撥號。 　　所以說，橋接模式和路由模式其實是針對於ADSL ROUTER來說的。 　　什麼是橋接模式 　　ADSL ROUTER橋接模式有個正式專業的名稱叫做RFC1483 橋接。
  • 透視骨幹物流信息平臺的商業模式、管理模式與盈利模式
    在平臺發展過程中，「三重」模式即商業模式、管理模式、盈利模式，始終處於核心和主導地位。商業模式決定平臺的發展方向和生態內涵，管理模式主導平臺的效率與公平，盈利模式奠定平臺的生存和抗風險能力。如果把商業模式比作一條戰艦，管理模式是軍艦上的官兵，盈利模式就是燃料的補給線。平臺能否順利經歷生存、獲利、發展三個階段，從根本上取決於「三重」模式的創新與重構。
  • ArcGIS空間分析——空間聚類模式分析(聚類模式、離散模式還是隨機模式)
    在給定一組要素及相關屬性的情況下，該工具評估所表達的模式是聚類模式、離散模式還是隨機模式。z 得分和 p 值是統計顯著性的量度，用來判斷是否拒絕零假設。對於此工具，零假設表示與要素相關的值隨機分布。模式分析工具所返回的 z 得分和 p 值可幫助您判斷是否可以拒絕零假設。p 值表示概率。對於模式分析工具來說，p 值表示所觀測到的空間模式是由某一隨機過程創建而成的概率。當 p 很小時，意味著所觀測到的空間模式不太可能產生於隨機過程（小概率事件），因此您可以拒絕零假設。Z 得分表示標準差的倍數。
  • 我國第三代氣候模式進入準業務化運行
    11月16日，更準確回答這些氣候關鍵問題的科技利器——我國氣象部門自主研發的次季節-季節-年際尺度一體化氣候模式預測業務系統（BCC-CPSv3）通過評審，進入準業務化運行。作為國際氣候變化研究前沿課題，氣候預測是一道世界性難題，其背後是國家防災減災、應對氣候變化工作的迫切需求。氣候模式是氣候預測最客觀的工具和手段，開展氣候模式研究意義和責任重大。
  • 中國「人造太陽」團隊揭示一種高性能穩態等離子體運行模式形成機理
    中國「人造太陽」團隊揭示一種高性能穩態等離子體運行模式形成機理 2019-07-01 19:55:05來源：中國新聞網作者：${中新記者姓名
  • GPU上的隨機森林:比Apache Spark快2000倍
    ('spark.executor.memory', '36g') .getOrCreate())findspark包檢測系統上的Spark安裝位置；如果可以知道Spark包的安裝位置，則可能不需要這樣做。