求 python 高併發 kafka 的庫,目前最多是 20 秒發 10w 條

花菜發表於2020-07-20
  • 目前使用的是confluent_kafka,傳送10w條20秒左右.
  • 必須要在10w條就要呼叫flush方法.不然超過10w的部分會丟失
  • 目前試過python-kafka+多執行緒,效果不太理想,因為是同步的,並且不支援gevent
  • 也試過pykafka + gevent,丟訊息嚴重. 求更高併發的庫傳送kafka.有例子參考就最好了
    python實在沒有的話,go或者Java也行. 謝謝各位大佬

相關文章