求 python 高併發 kafka 的庫,目前最多是 20 秒發 10w 條

花菜發表於2020-07-20
PythonKafka
  • 目前使用的是 confluent_kafka,傳送 10w 條 20 秒左右.
  • 必須要在 10w 條就要呼叫 flush 方法.不然超過 10w 的部分會丟失
  • 目前試過 python-kafka+ 多執行緒,效果不太理想,因為是同步的,並且不支援 gevent
  • 也試過 pykafka + gevent,丟訊息嚴重. 求更高併發的庫傳送 kafka.有例子參考就最好了
    python 實在沒有的話,go 或者 Java 也行. 謝謝各位大佬

相關文章