spark-streaming-kafka透過KafkaUtils.createDirectStream的方式處理資料
package hgs.spark.streaming import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.Seconds import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.kafka.KafkaCluster import scala.collection.immutable.Map import java.util.NoSuchElementException import org.apache.spark.SparkException import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import org.codehaus.jackson.map.deser.std.PrimitiveArrayDeserializers.StringDeser import kafka.serializer.StringDecoder import org.apache.spark.streaming.kafka.DirectKafkaInputDStream import org.apache.spark.rdd.RDD import org.apache.spark.streaming.kafka.HasOffsetRanges import org.apache.spark.HashPartitioner object SparkStreamingKafkaDirectWordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[5]") conf.set("spark.streaming.kafka.maxRatePerPartition", "1") val sc = new SparkContext(conf) val ssc = new StreamingContext(sc,Seconds(1)) ssc.checkpoint("d:\\checkpoint") val kafkaParams = Map[String,String]( "metadata.broker.list"->"bigdata01:9092,bigdata02:9092,bigdata03:9092", "group.id"->"group_hgs", "zookeeper.connect"->"bigdata01:2181,bigdata02:2181,bigdata03:2181") val kc = new KafkaCluster(kafkaParams) val topics = Set[String]("test") //每個rdd返回的資料是(K,V)型別的,該函式規定了函式返回資料的型別 val mmdFunct = (mmd: MessageAndMetadata[String, String])=>(mmd.topic+" "+mmd.partition,mmd.message()) val rds = KafkaUtils.createDirectStream[String,String,StringDecoder,StringDecoder,(String,String)](ssc, kafkaParams, getOffsets(topics,kc,kafkaParams),mmdFunct) val updateFunc=(iter:Iterator[(String,Seq[Int],Option[Int])])=>{ //iter.flatMap(it=>Some(it._2.sum+it._3.getOrElse(0)).map((it._1,_)))//方式一 //iter.flatMap{case(x,y,z)=>{Some(y.sum+z.getOrElse(0)).map((x,_))}}//方式二 iter.flatMap(it=>Some(it._1,(it._2.sum.toInt+it._3.getOrElse(0))))//方式三 } val words = rds.flatMap(x=>x._2.split(" ")).map((_,1)) //val wordscount = words.map((_,1)).updateStateByKey(updateFunc, new HashPartitioner(sc.defaultMinPartitions), true) //println(getOffsets(topics,kc,kafkaParams)) rds.foreachRDD(rdd=>{ if(!rdd.isEmpty()){ //對每個dataStreamoffset進行更新 upateOffsets(topics,kc,rdd,kafkaParams) } } ) words.print() ssc.start() ssc.awaitTermination() } def getOffsets(topics : Set[String],kc:KafkaCluster,kafkaParams:Map[String,String]):Map[TopicAndPartition, Long]={ val topicAndPartitionsOrNull = kc.getPartitions(topics) if(topicAndPartitionsOrNull.isLeft){ throw new SparkException(s"$topics in the set may not found") } else{ val topicAndPartitions = topicAndPartitionsOrNull.right.get val groups = kafkaParams.get("group.id").get val offsetOrNull = kc.getConsumerOffsets(groups, topicAndPartitions) if(offsetOrNull.isLeft){ println(s"$groups you assignment may not exists!now redirect to zero!") //如果沒有消費過,則從最開始的位置消費 val erliestOffset = kc.getEarliestLeaderOffsets(topicAndPartitions) if(erliestOffset.isLeft) throw new SparkException(s"Topics and Partions not definded not found!") else erliestOffset.right.get.map(x=>(x._1,x._2.offset)) } else{ //如果消費組已經存在則從記錄的地方開始消費 offsetOrNull.right.get } } } //每次拉取資料後儲存offset到ZK def upateOffsets(topics : Set[String],kc:KafkaCluster,directRDD:RDD[(String,String)],kafkaParams:Map[String,String]){ val offsetRanges = directRDD.asInstanceOf[HasOffsetRanges].offsetRanges for(offr <-offsetRanges){ val topicAndPartitions = TopicAndPartition(offr.topic,offr.partition) val yesOrNo = kc.setConsumerOffsets(kafkaParams.get("group.id").get, Map(topicAndPartitions->offr.untilOffset)) if(yesOrNo.isLeft){ println(s"Error when update offset of $topicAndPartitions") } } } } /* val conf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]") val sc = new SparkContext(conf) val ssc = new StreamingContext(sc,Seconds(4)) val kafkaParams = Map[String,String]( "metadata.broker.list"->"bigdata01:9092,bigdata02:9092,bigdata03:9092") val kc = new KafkaCluster(kafkaParams) //獲取topic與paritions的資訊 //val tmp = kc.getPartitions(Set[String]("test7")) //結果:topicAndPartitons=Set([test7,0], [test7,1], [test7,2]) //val topicAndPartitons = tmp.right.get //println(topicAndPartitons) //每個分割槽對應的leader資訊 //val tmp = kc.getPartitions(Set[String]("test7")) //val topicAndPartitons = tmp.right.get //結果:leadersPerPartitions= Right(Map([test7,0] -> (bigdata03,9092), [test7,1] -> (bigdata01,9092), [test7,2] -> (bigdata02,9092))) //val leadersPerPartitions = kc.findLeaders(topicAndPartitons) //println(leadersPerPartitions) //每增加一條訊息,對應的partition的offset都會加1,即LeaderOffset(bigdata02,9092,23576)第三個引數會加一 //val tmp = kc.getPartitions(Set[String]("test")) //val topicAndPartitons = tmp.right.get //結果t= Right(Map([test7,0] -> LeaderOffset(bigdata03,9092,23568), [test7,2] -> LeaderOffset(bigdata02,9092,23576), [test7,1] -> LeaderOffset(bigdata01,9092,23571))) //val t = kc.getLatestLeaderOffsets(topicAndPartitons) // println(t) //findLeader需要兩個引數 topic 分割槽編號 //val tmp = kc.findLeader("test7",0) //結果leader=RightProjection(Right((bigdata03,9092))) //val leader = tmp.right //val tp = leader.flatMap(x=>{Either.cond(false, None,(x._1,x._2))}) val tmp = kc.getPartitions(Set[String]("test")) val ttp = tmp.right.get while(true){ try{ val tp = kc.getConsumerOffsets("group_test1", ttp) val maps = tp.right.get println(maps) Thread.sleep(2000) } catch{ case ex:NoSuchElementException=>{println("test")} } }*/
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2216985/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- mysql,sqlserver資料庫單表資料過大的處理方式MySqlServer資料庫
- 使用VB透過RFC連線並處理SAP資料例子
- 大資料三種處理方式大資料
- FreeBSD資料處理方式(轉)
- ETL中後設資料處理的方式
- 傳統的資料處理方式能否應對大資料?大資料
- C#中處理JSON資料的方式C#JSON
- 支付類系統資料處理和資料中臺的資料處理方式有什麼不同?
- 資料庫變慢的處理過程資料庫
- Windows下批處理分享:透過WinSCP實現SFTP傳輸資料WindowsFTP
- SQLServer資料庫日誌太大處理方式SQLServer資料庫
- redis的過期健的處理方式與原理Redis
- jquery的ajax傳遞資料過程中的資料處理jQuery
- 資料處理踩過的坑(不斷更新):
- nlp中文字輸入的資料預處理方式
- 伺服器負載過高的處理方式伺服器負載
- 大資料的處理是怎樣的過程大資料
- Vue透過引入cdn方式請求介面,渲染資料,axios渲染資料VueiOS
- error的處理方式Error
- 處理百萬級以上的資料處理
- ORACLE資料庫壞塊的處理 (一次壞快處理過程)Oracle資料庫
- 有沒有好用Excel包,可以透過job的方式寫入資料Excel
- 大資料處理過程是怎樣大資料
- linux 透過xmllint處理xml檔案LinuxXML
- Python資料處理(二):處理 Excel 資料PythonExcel
- 資料處理
- oracle資料庫透過sqlplus連線的幾種方式介紹Oracle資料庫SQL
- 上下居中的處理方式
- 引號的處理方式
- 一次資料庫異常的處理過程資料庫
- 4 關於資料倉儲維度資料處理的方法探究系列——緩慢變化維處理——覆蓋方式
- 6種方式處理機器學習中不平衡的資料集 - svpino機器學習
- 關於丟失表空間資料檔案的處理方式
- 資料時代的產品經理,透過這些能力站上C位!
- oracle使用者鎖住、過期處理方式Oracle
- 下載資料的處理
- 資料預處理的形式
- 籠統的資料處理