Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Apache Druid #Apache Kafka #Apache Pinot #Real streaming
- kafka #streamdata-processing #kafka-consumer
- Kibana
- kafka #mirrormaker consumer lag
- kafka #streamdata-processing #mirrormaker
Archives
- Today
- Total
목록kafka #streamdata-processing #kafka-consumer (1)
더비창고방
kafka-consumer
kafka consumer 란 데이터 read(poll) 주체 commit을 통해 consumer offset을 카프카에 기록 consumer가 자동이나 수동으로 읽은 데이터의 위치를 commit하여 다시 읽음을 방지한다 __consumer_offsets라는 Internal Topic에서 consumer offset을 저장하여 관리한다 consumer 작동 방식 1. single consumer Topic의 모든 partition 에서 모든 Record를 consume한다. 2. multiple consumer 동일한 group.id로 구성된 모든 consumer들은 하나의 consumer group을 형성한다. partition 은 항상 consumer group에서 하나의 consumer에 의해서만 ..
STUDY
2022. 12. 20. 17:34