정선생의 데이터 팡팡

Kafka 의 장점은 메시지큐인데 휘발성이 아니라 파일에 저장되고 offset 형태로 과거의 데이터도 읽어오는게 가장 큰 장점이 아닌가 싶다. 그래서, 스트림데이터에 대한 재집계 문제를 offset 을 돌려서 처리할수 있고 자체적으로 병렬처리를 위한 개념들이 존재해서 사실상 스트림데이터를 다룰때 표준 플랫폼으로 사용한다. (배치용 스토리지는 hdfs , 스트림 스토리지는 카프카의 topic) 토픽(TOPC) 이란 무엇인가? 카프카에서는 데이터를 넣기 위한 공간을 topic 이라고 이야기 한다. (mysql, oracle 같은 dbms의 table을 생각하면 쉽다) 가장큰 다른점이라면, topic 에는 스키마가 존재하지 않는점이다. 쉽게 생각해서 byte 덩어리를 담아서 사용자가 serializable/d..