파이프라인 아키텍처와 데이터 흐름
OpenTelemetry Collector는 YAML 설정으로 정의된 파이프라인을 통해 동작합니다. 데이터는 리시버에서 진입하여 프로세서 체인을 거쳐 익스포터로 전달됩니다. 핵심은 하나의 리시버가 여러 파이프라인으로 분기될 수 있고, 여러 파이프라인이 동일 익스포터로 수렴될 수 있다는 점입니다. 마지막 프로세서는 fan-out consumer를 사용해 복수 익스포터에 데이터 복사본을 배포합니다. 이는 트레이스, 메트릭, 로그 등 신호 타입별로 독립적인 파이프라인 구성을 가능하게 합니다.
컴포넌트 역할과 특성
리시버(Receiver)는 OTLP(OpenTelemetry Protocol), Prometheus, Jaeger 등 다양한 프로토콜을 지원하는 진입점입니다. 프로세서(Processor)는 동기식 함수 호출로 순차 처리되며, 동일한 구성이 여러 파이프라인에서 참조되면 각 파이프라인마다 독립적인 인스턴스가 생성되어 상태를 격리합니다. 익스포터(Exporter)는 단순 네트워크 전달뿐 아니라 로깅 등 다양한 목적지를 지원하며, 같은 익스포터 인스턴스가 여러 파이프라인에서 공유될 수 있습니다.
배포 패턴과 메모리 관리
에이전트 패턴은 각 호스트/포드에 Collector를 배치하여 호스트 메타데이터 수집과 조기 필터링이 가능하지만 자원 중복을 초래합니다. 게이트웨이 패턴은 중앙 집중식 처리로 설정 관리와 데이터 변환을 단순화하되 단일 실패점이 됩니다. 프로덕션에서는 memory_limiter 프로세서를 모든 파이프라인의 첫 번째 위치에 배치해야 합니다. 메모리 사용이 설정된 한계를 초과하면 백프레셔를 적용하여 데이터를 선별적으로 거부하므로 전체 파이프라인 정지를 방지합니다. 일반적으로 limit_mib을 컨테이너 메모리 한계의 80%, spike_limit_mib을 60%로 설정하는 것이 권장됩니다.