【spark筆記】在idea用maven匯入spark原始碼
一、前提
最近在學習spark,所以想把spark的原始碼匯入到idea中方便學習,開始的時候試過很多網上提供的方式折騰了好久沒有成功。最後發現透過maven匯入原始碼網路還需要一定的保障才行。成功的前提一定要把maven安裝好,並修改maven安裝目錄下的conf/settings.xml的mirror為國內的伺服器(比如阿里的映象)
配置好了maven之後就很簡單了
先下載好spark原始碼
二、idea配置maven
三、匯入原始碼
經過漫長的等待後就可以了 (視網路情況10分鐘,幾十分鐘不等)
作者:程式碼足跡
連結:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/4798/viewspace-2818878/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Spark原始碼編譯與匯入IDEA除錯Spark原始碼編譯Idea除錯
- 使用 IntelliJ IDEA 匯入 Spark 最新原始碼及編譯 Spark 原始碼(博主強烈推薦)IntelliJIdeaSpark原始碼編譯
- spark入門筆記Spark筆記
- spark ml 隨機森林原始碼筆記一Spark隨機森林原始碼筆記
- spark筆記Spark筆記
- spark學習筆記--Spark SQLSpark筆記SQL
- spark 原始碼分析之十五 -- Spark記憶體管理剖析Spark原始碼記憶體
- spark學習筆記-- Spark StreamingSpark筆記
- Learning Spark——使用Intellij Idea開發基於Maven的Spark程式SparkIntelliJIdeaMaven
- spark 原始碼分析之十六 -- Spark記憶體儲存剖析Spark原始碼記憶體
- Spark學習筆記(三)-Spark StreamingSpark筆記
- IDEA使用Maven搭建spark開發環境(scala)IdeaMavenSpark開發環境
- IDEA開發Spark應用並提交本地Spark 2.1.0 standIdeaSpark
- spark學習筆記--叢集執行SparkSpark筆記
- 《Spark機器學習》筆記——Spark構建聚類模型Spark機器學習筆記聚類模型
- Spark簡明筆記Spark筆記
- spark學習筆記Spark筆記
- Spark 學習筆記Spark筆記
- Spark 原始碼分析系列Spark原始碼
- Apache Spark原始碼剖析ApacheSpark原始碼
- 除錯spark原始碼除錯Spark原始碼
- spark學習筆記--Spark調優與除錯Spark筆記除錯
- Spark原始碼-SparkContext原始碼解析Spark原始碼Context
- Spark 原始碼系列(七)Spark on yarn 具體實現Spark原始碼Yarn
- Cris 的 Spark SQL 筆記SparkSQL筆記
- spark學習筆記--RDDSpark筆記
- IDEA匯入專案筆記二Idea筆記
- Spark入門(二)--如何用Idea執行我們的Spark專案SparkIdea
- Spark修煉之道(高階篇)——Spark原始碼閱讀:第一節 Spark應用程式提交流程Spark原始碼
- spark核心原始碼深度剖析Spark原始碼
- spark reduceByKey原始碼解析Spark原始碼
- Spark原始碼分析之MemoryManagerSpark原始碼
- Spark原始碼分析之BlockStoreSpark原始碼BloC
- spark 原始碼分析之十八 -- Spark儲存體系剖析Spark原始碼
- Spark之HiveSupport連線(spark-shell和IDEA)SparkHiveIdea
- Spring-framework 原始碼匯入 IntelliJ IDEA 記錄SpringFramework原始碼IntelliJIdea
- Spark RPC框架原始碼分析(三)Spark心跳機制分析SparkRPC框架原始碼
- Cris 的 Spark Streaming 筆記Spark筆記