博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【转】How to Install Apache Spark on Mac OS X Yosemite
阅读量:4972 次
发布时间:2019-06-12

本文共 1507 字,大约阅读时间需要 5 分钟。

Apache Spark™ is a fast and general engine for large-scale data processing.

 
  • Install Java
     
    - Download Oracle Java SE Development Kit 7 or 8 at Oracle JDK downloads .
    - Double click on .dmg file to start the installation
    - Open up the terminal.
    - Type java -version, should display the following 
     
    java version "1.7.0_71" 
    Java(TM) SE Runtime Environment (build 1.7.0_71-b14) 
    Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode)  
  • Set JAVA_HOME  
export JAVA_HOME=$(/usr/libexec/java_home) 
 
  • Install Homebrew 
  
           ruby -e "$(curl -fsSL )" 
  
 
  • Install Scala 
 
brew install scala 
 
  • Set SCALA_HOME 
 
export SCALA_HOME=/usr/local/bin/scala  
export PATH=$PATH:$SCALA_HOME/bin 
  
  • Download Spark from https://spark.apache.org/downloads.html  
 
tar -xvzf spark-1.1.1.tar 
cd spark-1.1.1  
  • Build and Install Apache Spark  
sbt/sbt clean assembly 
  • Fire up the Spark  
For the Scala shell: 
./bin/spark-shell 
 
For the Python shell: 
./bin/pyspark 
 
  • Run Examples 
 
Calculate Pi: 
 
./bin/run-example org.apache.spark.examples.SparkPi 
 
MLlib Correlations example: 
 
./bin/run-example org.apache.spark.examples.mllib.Correlations 
 
MLlib Linear Regression example: 
 
./bin/spark-submit 
--class org.apache.spark.examples.mllib.LinearRegression 
examples/target/scala-*/spark-*.jar data/mllib/sample_linear_regression_data.txt  
  
 
 
References: 
  
How to install Spark on Mac OS X 
 
  
How To Set $JAVA_HOME Environment Variable On Mac OS X 
 
  
Homebrew - The missing package manager for OS X 
 
posted on
2017-08-01 16:33 阅读(
...) 评论(
...)

转载于:https://www.cnblogs.com/amberdata/p/7269236.html

你可能感兴趣的文章
MYSQL数据库的导出的几种方法
查看>>
SQL Server-5种常见的约束
查看>>
硬件之美
查看>>
[转载]java开发中的23种设计模式
查看>>
表格的拖拽功能
查看>>
函数的形参和实参
查看>>
【TP SRM 703 div2 500】 GCDGraph
查看>>
webdriver api
查看>>
apache 实现图标缓存客户端
查看>>
揭秘:黑客必备的Kali Linux是什么,有哪些弊端?
查看>>
linux系统的远程控制方法——学神IT教育
查看>>
springboot+mybatis报错Invalid bound statement (not found)
查看>>
Linux环境下SolrCloud集群环境搭建关键步骤
查看>>
P3565 [POI2014]HOT-Hotels
查看>>
MongoDB的简单使用
查看>>
prometheus配置
查看>>
【noip2004】虫食算——剪枝DFS
查看>>
python 多进程和多线程的区别
查看>>
sigar
查看>>
iOS7自定义statusbar和navigationbar的若干问题
查看>>