Apache Kafka는 고성능의 분산 스트리밍 플랫폼으로, 프로듀서(Producer)와 컨슈머(Consumer) 간의 효율적인 데이터 전송을 지원합니다. 그러나 Kafka 자체는 데이터의 구조나 형식에 대한 검증을 수행하지 않으므로, 데이터 스키마의 관리와 호환성 유지에 어려움이 발생할 수 있습니다. 이러한 문제를 해결하기 위해 Schema Registry가 도입되었습니다.
Schema Registry란 무엇인가?
Schema Registry는 Kafka와 별도로 동작하는 독립적인 애플리케이션으로, Kafka에서 주고받는 메시지의 스키마를 중앙에서 관리하고 저장하는 역할을 합니다. 이를 통해 프로듀서와 컨슈머 간의 데이터 구조에 대한 명확한 정의를 공유하며, 데이터의 일관성과 호환성을 보장합니다.
왜 Schema Registry가 필요한가?
Kafka는 기본적으로 바이트 스트림으로 데이터를 처리하며, 데이터의 구조나 형식에 대한 제약이 없습니다. 이로 인해 다음과 같은 문제가 발생할 수 있습니다:
- 스키마 변경으로 인한 장애 발생: 프로듀서가 데이터 형식을 변경하면, 이를 알지 못한 컨슈머는 역직렬화 과정에서 오류가 발생할 수 있습니다.
- 데이터 명세 관리의 어려움: 여러 프로듀서와 컨슈머가 존재하는 환경에서 데이터 구조에 대한 명확한 정의가 없으면, 시스템 전체의 안정성이 저하될 수 있습니다.
Schema Registry는 이러한 문제를 해결하기 위해 다음과 같은 기능을 제공합니다:
- 스키마 중앙 관리: 모든 스키마를 중앙에서 관리하여 데이터 구조의 일관성을 유지합니다.
- 호환성 검증: 새로운 스키마 등록 시 기존 스키마와의 호환성을 검증하여, 스키마 진화로 인한 오류를 방지합니다.
- 스키마 버전 관리: 스키마의 버전을 체계적으로 관리하여, 필요 시 이전 버전으로의 롤백을 가능하게 합니다.
[Schema Registry가 없다면?]
카프카 프로듀서가 JSON 데이터를 Kafka로 전송하고, 컨슈머가 이를 받아 사용한다고 가정해봅시다.
- 1일차
{
"name": "Alice",
"age": 25
}
- 2일차 (프로듀서가 필드를 변경)
{
"full_name": "Alice Smith",
"age": 25
}
위와 같이 프로듀서가 name을 full_name으로 변경했다면, 기존 name 필드를 기대하던 컨슈머는 오류를 발생시키게 됩니다. Kafka 자체는 데이터를 단순히 바이트 스트림으로 전달할 뿐, 이런 변화에 대한 검증을 하지 않기 때문입니다.
Schema Registry의 작동 원리
Schema Registry는 다음과 같은 흐름으로 작동합니다:
- 스키마 등록: 프로듀서는 메시지를 Kafka에 전송하기 전에 해당 메시지의 스키마를 Schema Registry에 등록합니다.
- 스키마 ID 부여: Schema Registry는 등록된 스키마에 고유한 ID를 부여하고, 프로듀서는 이 스키마 ID를 메시지에 포함시켜 Kafka에 전송합니다.
- 메시지 소비: 컨슈머는 Kafka에서 메시지를 읽어들인 후, 메시지에 포함된 스키마 ID를 사용하여 Schema Registry에서 스키마를 조회하고, 이를 통해 메시지를 역직렬화합니다.
{
"type": "record",
"name": "User",
"fields": [
{"name": "name", "type": "string"},
{"name": "age", "type": "int"}
]
}
이러한 과정은 프로듀서와 컨슈머 간의 데이터 구조에 대한 명확한 계약을 가능하게 하며, 시스템의 안정성과 데이터의 신뢰성을 향상시킵니다.
Schema Registry의 장단점
✅ 장점
- 시스템 안정성 향상: 스키마 변경 시 발생할 수 있는 오류를 사전에 방지하여 시스템의 안정성을 높입니다.
- 데이터 명세 관리 용이: 중앙에서 스키마를 관리함으로써 데이터 구조에 대한 명확한 정의를 제공하고, 운영의 효율성을 향상시킵니다.
- 업무 효율성 증대: 스키마 관리로 인한 불필요한 커뮤니케이션을 줄여 개발자들이 본연의 업무에 집중할 수 있게 합니다.
❌ 단점
- 관리 포인트 증가: Schema Registry 서버를 추가로 관리해야 하므로 운영 복잡성이 증가할 수 있습니다.
- 스키마 관리 부담: 엄격한 스키마 검증으로 인해 스키마 변경 시 추가적인 관리 작업이 필요할 수 있습니다.
결론
Kafka Schema Registry는 데이터의 스키마를 중앙에서 관리하여 프로듀서와 컨슈머 간의 일관성을 보장하는 필수적인 컴포넌트입니다. 이를 통해 데이터의 신뢰성을 유지하고, 스키마 변경으로 인한 장애를 방지할 수 있습니다.
📌 기억할 점
- Kafka 자체는 데이터 형식을 검증하지 않음 → Schema Registry가 필요함
- 프로듀서는 메시지를 전송하기 전에 Schema Registry에 스키마를 등록해야 함
- 컨슈머는 메시지를 소비할 때 Schema Registry에서 스키마를 조회하여 역직렬화함
- JSON, Avro, Protobuf 등의 다양한 포맷을 지원함
Kafka를 활용한 데이터 스트리밍 환경에서 Schema Registry는 매우 중요한 역할을 하므로, 이를 적절히 활용하여 안정적인 데이터 파이프라인을 구축하는 것이 중요합니다.
'Kafka' 카테고리의 다른 글
| Kafka Streams: KStream과 KTable의 이해와 조인 활용 (2) | 2024.12.21 |
|---|---|
| Kafka Streams: 실시간 데이터 처리를 위한 도구 (1) | 2024.11.20 |
