Kafka詳解五、Kafka Consumer的底層API- SimpleConsumer

五柳-先生發表於2015-11-17
KafkaAPI
問題導讀

1.Kafka如何實現和Consumer之間的互動？
2.使用SimpleConsumer有哪些弊端呢？











1.Kafka提供了兩套API給Consumer
  • The high-level Consumer API
  • The SimpleConsumer API

第一種高度抽象的Consumer API，它使用起來簡單、方便，但是對於某些特殊的需求我們可能要用到第二種更底層的API，那麼先介紹下第二種API能夠幫助我們做哪些事情
  • 一個訊息讀取多次
  • 在一個處理過程中只消費Partition其中的一部分訊息
  • 新增事務管理機制以保證訊息被處理且僅被處理一次
2.使用SimpleConsumer有哪些弊端呢？
  • 必須在程式中跟蹤offset值
  • 必須找出指定Topic Partition中的lead broker
  • 必須處理broker的變動
3.使用SimpleConsumer的步驟
  • 從所有活躍的broker中找出哪個是指定Topic Partition中的leader broker
  • 找出指定Topic Partition中的所有備份broker
  • 構造請求
  • 傳送請求查詢資料
  • 處理leader broker變更
4.程式碼例項

  1. package bonree.consumer;

  3. import java.nio.ByteBuffer;
  4. import java.util.ArrayList;
  5. import java.util.Collections;
  6. import java.util.HashMap;
  7. import java.util.List;
  8. import java.util.Map;

  10. import kafka.api.FetchRequest;
  11. import kafka.api.FetchRequestBuilder;
  12. import kafka.api.PartitionOffsetRequestInfo;
  13. import kafka.common.ErrorMapping;
  14. import kafka.common.TopicAndPartition;
  15. import kafka.javaapi.FetchResponse;
  16. import kafka.javaapi.OffsetResponse;
  17. import kafka.javaapi.PartitionMetadata;
  18. import kafka.javaapi.TopicMetadata;
  19. import kafka.javaapi.TopicMetadataRequest;
  20. import kafka.javaapi.consumer.SimpleConsumer;
  21. import kafka.message.MessageAndOffset;

  23. public class SimpleExample {
  24.         private List<String> m_replicaBrokers = new ArrayList<String>();

  26.         public SimpleExample() {
  27.                 m_replicaBrokers = new ArrayList<String>();
  28.         }

  30.         public static void main(String args[]) {
  31.                 SimpleExample example = new SimpleExample();
  32.                 // 最大讀取訊息數量
  33.                 long maxReads = Long.parseLong("3");
  34.                 // 要訂閱的topic
  35.                 String topic = "mytopic";
  36.                 // 要查詢的分割槽
  37.                 int partition = Integer.parseInt("0");
  38.                 // broker節點的ip
  39.                 List<String> seeds = new ArrayList<String>();
  40.                 seeds.add("192.168.4.30");
  41.                 seeds.add("192.168.4.31");
  42.                 seeds.add("192.168.4.32");
  43.                 // 埠
  44.                 int port = Integer.parseInt("9092");
  45.                 try {
  46.                         example.run(maxReads, topic, partition, seeds, port);
  47.                 } catch (Exception e) {
  48.                         System.out.println("Oops:" + e);
  49.                         e.printStackTrace();
  50.                 }
  51.         }

  53.         public void run(long a_maxReads, String a_topic, int a_partition, List<String> a_seedBrokers, int a_port) throws Exception {
  54.                 // 獲取指定Topic partition的後設資料
  55.                 PartitionMetadata metadata = findLeader(a_seedBrokers, a_port, a_topic, a_partition);
  56.                 if (metadata == null) {
  57.                         System.out.println("Can't find metadata for Topic and Partition. Exiting");
  58.                         return;
  59.                 }
  60.                 if (metadata.leader() == null) {
  61.                         System.out.println("Can't find Leader for Topic and Partition. Exiting");
  62.                         return;
  63.                 }
  64.                 String leadBroker = metadata.leader().host();
  65.                 String clientName = "Client_" + a_topic + "_" + a_partition;

  67.                 SimpleConsumer consumer = new SimpleConsumer(leadBroker, a_port, 100000, 64 * 1024, clientName);
  68.                 long readOffset = getLastOffset(consumer, a_topic, a_partition, kafka.api.OffsetRequest.EarliestTime(), clientName);
  69.                 int numErrors = 0;
  70.                 while (a_maxReads > 0) {
  71.                         if (consumer == null) {
  72.                                 consumer = new SimpleConsumer(leadBroker, a_port, 100000, 64 * 1024, clientName);
  73.                         }
  74.                         FetchRequest req = new FetchRequestBuilder().clientId(clientName).addFetch(a_topic, a_partition, readOffset, 100000).build();
  75.                         FetchResponse fetchResponse = consumer.fetch(req);

  77.                         if (fetchResponse.hasError()) {
  78.                                 numErrors++;
  79.                                 // Something went wrong!
  80.                                 short code = fetchResponse.errorCode(a_topic, a_partition);
  81.                                 System.out.println("Error fetching data from the Broker:" + leadBroker + " Reason: " + code);
  82.                                 if (numErrors > 5)
  83.                                         break;
  84.                                 if (code == ErrorMapping.OffsetOutOfRangeCode()) {
  85.                                         // We asked for an invalid offset. For simple case ask for
  86.                                         // the last element to reset
  87.                                         readOffset = getLastOffset(consumer, a_topic, a_partition, kafka.api.OffsetRequest.LatestTime(), clientName);
  88.                                         continue;
  89.                                 }
  90.                                 consumer.close();
  91.                                 consumer = null;
  92.                                 leadBroker = findNewLeader(leadBroker, a_topic, a_partition, a_port);
  93.                                 continue;
  94.                         }
  95.                         numErrors = 0;

  97.                         long numRead = 0;
  98.                         for (MessageAndOffset messageAndOffset : fetchResponse.messageSet(a_topic, a_partition)) {
  99.                                 long currentOffset = messageAndOffset.offset();
  100.                                 if (currentOffset < readOffset) {
  101.                                         System.out.println("Found an old offset: " + currentOffset + " Expecting: " + readOffset);
  102.                                         continue;
  103.                                 }

  105.                                 readOffset = messageAndOffset.nextOffset();
  106.                                 ByteBuffer payload = messageAndOffset.message().payload();

  108.                                 byte[] bytes = new byte[payload.limit()];
  109.                                 payload.get(bytes);
  110.                                 System.out.println(String.valueOf(messageAndOffset.offset()) + ": " + new String(bytes, "UTF-8"));
  111.                                 numRead++;
  112.                                 a_maxReads--;
  113.                         }

  115.                         if (numRead == 0) {
  116.                                 try {
  117.                                         Thread.sleep(1000);
  118.                                 } catch (InterruptedException ie) {
  119.                                 }
  120.                         }
  121.                 }
  122.                 if (consumer != null)
  123.                         consumer.close();
  124.         }

  126.         public static long getLastOffset(SimpleConsumer consumer, String topic, int partition, long whichTime, String clientName) {
  127.                 TopicAndPartition topicAndPartition = new TopicAndPartition(topic, partition);
  128.                 Map<TopicAndPartition, PartitionOffsetRequestInfo> requestInfo = new HashMap<TopicAndPartition, PartitionOffsetRequestInfo>();
  129.                 requestInfo.put(topicAndPartition, new PartitionOffsetRequestInfo(whichTime, 1));
  130.                 kafka.javaapi.OffsetRequest request = new kafka.javaapi.OffsetRequest(requestInfo, kafka.api.OffsetRequest.CurrentVersion(), clientName);
  131.                 OffsetResponse response = consumer.getOffsetsBefore(request);

  133.                 if (response.hasError()) {
  134.                         System.out.println("Error fetching data Offset Data the Broker. Reason: " + response.errorCode(topic, partition));
  135.                         return 0;
  136.                 }
  137.                 long[] offsets = response.offsets(topic, partition);
  138.                 return offsets[0];
  139.         }

  141.         /**
  142.          * @param a_oldLeader
  143.          * @param a_topic
  144.          * @param a_partition
  145.          * @param a_port
  146.          * @return String
  147.          * @throws Exception
  148.          *             找一個leader broker
  149.          */
  150.         private String findNewLeader(String a_oldLeader, String a_topic, int a_partition, int a_port) throws Exception {
  151.                 for (int i = 0; i < 3; i++) {
  152.                         boolean goToSleep = false;
  153.                         PartitionMetadata metadata = findLeader(m_replicaBrokers, a_port, a_topic, a_partition);
  154.                         if (metadata == null) {
  155.                                 goToSleep = true;
  156.                         } else if (metadata.leader() == null) {
  157.                                 goToSleep = true;
  158.                         } else if (a_oldLeader.equalsIgnoreCase(metadata.leader().host()) && i == 0) {
  159.                                 // first time through if the leader hasn't changed give
  160.                                 // ZooKeeper a second to recover
  161.                                 // second time, assume the broker did recover before failover,
  162.                                 // or it was a non-Broker issue
  163.                                 //
  164.                                 goToSleep = true;
  165.                         } else {
  166.                                 return metadata.leader().host();
  167.                         }
  168.                         if (goToSleep) {
  169.                                 try {
  170.                                         Thread.sleep(1000);
  171.                                 } catch (InterruptedException ie) {
  172.                                 }
  173.                         }
  174.                 }
  175.                 System.out.println("Unable to find new leader after Broker failure. Exiting");
  176.                 throw new Exception("Unable to find new leader after Broker failure. Exiting");
  177.         }

  179.         private PartitionMetadata findLeader(List<String> a_seedBrokers, int a_port, String a_topic, int a_partition) {
  180.                 PartitionMetadata returnMetaData = null;
  181.                 loop: for (String seed : a_seedBrokers) {
  182.                         SimpleConsumer consumer = null;
  183.                         try {
  184.                                 consumer = new SimpleConsumer(seed, a_port, 100000, 64 * 1024, "leaderLookup");
  185.                                 List<String> topics = Collections.singletonList(a_topic);
  186.                                 TopicMetadataRequest req = new TopicMetadataRequest(topics);
  187.                                 kafka.javaapi.TopicMetadataResponse resp = consumer.send(req);

  189.                                 List<TopicMetadata> metaData = resp.topicsMetadata();
  190.                                 for (TopicMetadata item : metaData) {
  191.                                         for (PartitionMetadata part : item.partitionsMetadata()) {
  192.                                                 if (part.partitionId() == a_partition) {
  193.                                                         returnMetaData = part;
  194.                                                         break loop;
  195.                                                 }
  196.                                         }
  197.                                 }
  198.                         } catch (Exception e) {
  199.                                 System.out.println("Error communicating with Broker [" + seed + "] to find Leader for [" + a_topic + ", " + a_partition + "] Reason: " + e);
  200.                         } finally {
  201.                                 if (consumer != null)
  202.                                         consumer.close();
  203.                         }
  204.                 }
  205.                 if (returnMetaData != null) {
  206.                         m_replicaBrokers.clear();
  207.                         for (kafka.cluster.Broker replica : returnMetaData.replicas()) {
  208.                                 m_replicaBrokers.add(replica.host());
  209.                         }
  210.                 }
  211.                 return returnMetaData;
  212.         }
  213. }
複製程式碼
轉載： http://www.aboutyun.com/thread-11117-1-1.html

相關文章