spark lac 分析停留最長的兩個地方
package hgs.spark.othertest import org.apache.spark.SparkConf import org.apache.spark.SparkContext object FindTheTop2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("FindTheTop2").setMaster("local[3]") val sc = new SparkContext(conf) val rdd1 = sc.textFile("D:\\bs_log") //rdd_phone_lac_time:(18688888888 16030401EAFB68F1E3CDF819735E1C66,-20160327082400,1), (18611132889 16030401EAFB68F1E3CDF819735E1C66,-20160327082500,1) //先對映為上一行為例的map(K,V) val rdd_phone_lac_time = rdd1.map(x=>{ val list = x.split(",") if(Integer.parseInt(list(3))==1) (list(0)+" "+list(2),-list(1).toLong) else{ (list(0)+" "+list(2),list(1).toLong) } } ) //根據rdd_phone_lac_time 的key進行reduce,將所有key相同的資料相加 val rdd_reduce_phone_lackey = rdd_phone_lac_time.reduceByKey((x,y)=>x+y) //(18688888888,CompactBuffer((18688888888 16030401EAFB68F1E3CDF819735E1C66,87600), (18688888888 9F36407EAD0629FC166F14DDE7970F68,51200), (18688888888 CC0710CC94ECC657A8561DE549D940E0,1300))) //取top2,mapValues對values操作,返回的是map(K,V),K是原始的K,V是操作後得到的V val rdd_reduce_phone_lackey_groupyed = rdd_reduce_phone_lackey.groupBy(x=>x._1.split(" ")(0)) val rdd_top2 = rdd_reduce_phone_lackey_groupyed.mapValues(x=>{ x.toList.sortBy(_._2).reverse.take(2) }) //(16030401EAFB68F1E3CDF819735E1C66,(18688888888,16030401EAFB68F1E3CDF819735E1C66,87600)) //下面需要與另一個map根據特定的欄位例如16030401EAFB68F1E3CDF819735E1C66進行join,所以需要將‘18688888888 16030401EAFB68F1E3CDF819735E1C66’拆開,將第二個作為K,返回新的map val rdd_result = rdd_top2.flatMap(x=>{ x._2.map(y=>{ val li = y._1.split(" ") (li(1),(li(0),li(1),y._2)) }) }) //該檔案中即是需要與上面的結果進行join val lati_longti = sc.textFile("D:\\lac_info", 1) //(9F36407EAD0629FC166F14DDE7970F68,(116.304864,40.050645)) //對映成如上一行的map val rdd_coordinate = lati_longti.map(f=>{ val li = f.split(",") (li(0),(li(0),li(1),li(2))) }) //進行join //rdd_coordinate 與rdd_result的結構型別已改是一樣的,即K,V的型別對應,否則無法join val join_resultWithcoordinate = rdd_coordinate.join(rdd_result) // rdd_coordinate.to //println(rdd_result.collect().length) //儲存檔案 join_resultWithcoordinate.saveAsTextFile("d:\\dest") sc.stop() } }
樣例資料
D:\\bs_log
18688888888,20160327082400,16030401EAFB68F1E3CDF819735E1C66,1 18611132889,20160327082500,16030401EAFB68F1E3CDF819735E1C66,1 18688888888,20160327170000,16030401EAFB68F1E3CDF819735E1C66,0 18611132889,20160327075000,9F36407EAD0629FC166F14DDE7970F68,1 18688888888,20160327075100,9F36407EAD0629FC166F14DDE7970F68,1 18611132889,20160327081000,9F36407EAD0629FC166F14DDE7970F68,0 18688888888,20160327081300,9F36407EAD0629FC166F14DDE7970F68,0 18688888888,20160327175000,9F36407EAD0629FC166F14DDE7970F68,1 18611132889,20160327182000,9F36407EAD0629FC166F14DDE7970F68,1 18688888888,20160327220000,9F36407EAD0629FC166F14DDE7970F68,0 18611132889,20160327230000,9F36407EAD0629FC166F14DDE7970F68,0 18611132889,20160327180000,16030401EAFB68F1E3CDF819735E1C66,0 18611132889,20160327081100,CC0710CC94ECC657A8561DE549D940E0,1 18688888888,20160327081200,CC0710CC94ECC657A8561DE549D940E0,1 18688888888,20160327081900,CC0710CC94ECC657A8561DE549D940E0,0 18611132889,20160327082000,CC0710CC94ECC657A8561DE549D940E0,0 18688888888,20160327171000,CC0710CC94ECC657A8561DE549D940E0,1 18688888888,20160327171600,CC0710CC94ECC657A8561DE549D940E0,0 18611132889,20160327180500,CC0710CC94ECC657A8561DE549D940E0,1 18611132889,20160327181500,CC0710CC94ECC657A8561DE549D940E0,0 D:\\lac_info 9F36407EAD0629FC166F14DDE7970F68,116.304864,40.050645,6 CC0710CC94ECC657A8561DE549D940E0,116.303955,40.041935,6 16030401EAFB68F1E3CDF819735E1C66,116.296302,40.032296,6 資料結果: (16030401EAFB68F1E3CDF819735E1C66,((16030401EAFB68F1E3CDF819735E1C66,116.296302,40.032296),(18688888888,16030401EAFB68F1E3CDF819735E1C66,87600))) (16030401EAFB68F1E3CDF819735E1C66,((16030401EAFB68F1E3CDF819735E1C66,116.296302,40.032296),(18611132889,16030401EAFB68F1E3CDF819735E1C66,97500))) (9F36407EAD0629FC166F14DDE7970F68,((9F36407EAD0629FC166F14DDE7970F68,116.304864,40.050645),(18688888888,9F36407EAD0629FC166F14DDE7970F68,51200))) (9F36407EAD0629FC166F14DDE7970F68,((9F36407EAD0629FC166F14DDE7970F68,116.304864,40.050645),(18611132889,9F36407EAD0629FC166F14DDE7970F68,54000)))
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2216122/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 兩個字串的最長公共子串字串
- 使用CSS最容易出錯的兩大地方!CSS
- 字串篇(python)—兩個字串的最長公共子序列字串Python
- UIApplicationDelegate 中兩個值得注意的地方UIAPP
- 使用Scala編寫Spark程式求基站下移動使用者停留時長TopNSpark
- 【iOS開發】UIApplicationDelegate中兩個值得注意的地方iOSUIAPP
- 周長最長;及找到最大數分析
- 張小龍:用停留時長衡量一個APP的好壞是錯誤的!APP
- 【Spark篇】--Spark中Standalone的兩種提交模式Spark模式
- 最長上升子序列(LIS)的兩種演算法演算法
- 螞蟻螞蟻;及周長最長分析
- 演算法-兩最長迴文子串演算法
- 微信企業付款介面PHP開發需要注意的兩個地方PHP
- jetty9優化的兩處地方Jetty優化
- 安裝npm install時,長時間停留NPM
- Spark SQL | 目前Spark社群最活躍的元件之一SparkSQL元件
- 字串最後一個單詞的長度字串
- 673. 最長遞增子序列的個數
- 最長等差數列;及子序列分析
- Spark的兩種核心Shuffle詳解Spark
- 【個人成長】在家學習的這兩個月
- Spark SQL 最簡單例子SparkSQL單例
- 找數字;及最長等差數列分析
- Spark的Shuffle總結分析Spark
- Spark流教程 :使用 Apache Spark 的Twitter情緒分析SparkApache
- 最長
- poj 2774 求兩字串的最長公共子串 字尾陣列字串陣列
- 關於兩個簡單問題的分析
- 最近兩個月的招聘統計:只有IT行業最“缺人”行業
- 聊聊公眾號最讓我不爽的兩個痛點
- 輸入兩個長度相同的字串,比較兩個數在相同位置的字元是否相同字串字元
- 【Spark篇】---Spark中yarn模式兩種提交任務方式SparkYarn模式
- 【谷歌面試題】找出字串中只包含兩種字元的最長子串谷歌面試題字串字元
- 成為軟體工程師最精彩的地方是什麼?軟體工程工程師
- Spark RPC框架原始碼分析(三)Spark心跳機制分析SparkRPC框架原始碼
- 站長運營地方網站的經驗總結網站
- Delphi中兩個BUG的分析與修復 (轉)
- 翻譯數字串;及最長迴文子串分析字串