Apache Kafka는 고성능의 분산 스트리밍 플랫폼으로, 프로듀서(Producer)와 컨슈머(Consumer) 간의 효율적인 데이터 전송을 지원합니다. 그러나 Kafka 자체는 데이터의 구조나 형식에 대한 검증을 수행하지 않으므로, 데이터 스키마의 관리와 호환성 유지에 어려움이 발생할 수 있습니다. 이러한 문제를 해결하기 위해 Schema Registry가 도입되었습니다. Schema Registry란 무엇인가?Schema Registry는 Kafka와 별도로 동작하는 독립적인 애플리케이션으로, Kafka에서 주고받는 메시지의 스키마를 중앙에서 관리하고 저장하는 역할을 합니다. 이를 통해 프로듀서와 컨슈머 간의 데이터 구조에 대한 명확한 정의를 공유하며, 데이터의 일관성과 호환성을 보장합니다. 왜 ..
Kafka
Kafka Streams는 실시간 데이터 처리를 위한 강력한 도구로, KStream과 KTable이라는 두 가지 데이터 구조를 제공합니다. 이번 글에서는 이 두 데이터 구조의 개념과 차이를 살펴보고, 실제 KStream-KStream, KStream-KTable, KTable-KTable 조인의 예제를 설명하겠습니다. KStreams - KStreams 조인[개념] KStream-KStream 조인은 두 개의 실시간 데이터 스트림을 결합합니다.이 조인은 타임 윈도우를 기준으로 이루어지며, 설정된 기간 내에 동일한 키를 가진 데이터를 결합합니다. [조인의 특징]타임 윈도우가 필수적입니다.데이터가 실시간으로 들어오므로, 시간이 지나면 윈도우가 닫히고 더 이상 데이터를 결합할 수 없습니다.[사용 사례]두 개의..
Kafka Streams는 Apache Kafka에서 제공하는 분산 스트리밍 처리 애플리케이션 라이브러리입니다. 이 라이브러리는 대규모 데이터 스트림을 실시간으로 처리하며 데이터 분석, 변환, 집계 같은 작업을 손쉽게 구현할 수 있도록 설계되었습니다. 이번 글에서는 Kafka Streams의 핵심 개념과 작동 방식을 초보자도 이해할 수 있도록 간단히 설명하겠습니다. Kafka Streams란 무엇인가?Kafka Streams는 실시간 스트리밍 데이터 처리를 위한 Apache Kafka의 클라이언트 라이브러리입니다.복잡한 분산 시스템의 세부사항을 개발자가 직접 관리하지 않아도, 간단한 코드를 통해 실시간 데이터를 처리하고 분석할 수 있게 돕습니다. Kafka Streams는 데이터의 필터링, 변환, 집계 ..
