목요한

대규모 이벤트 스트리밍 파이프라인을 운영하며 분산 데이터 저장소 최적화, 데이터 정합성, 비용 효율화, 운영 자동화에 집중해 왔습니다.

핵심 역량

대규모 이벤트 스트림 처리 파이프라인 설계 및 운영
분산 데이터 저장소와 워커 애플리케이션 성능 최적화
데이터 정합성, 비용 효율성, 운영 편의성을 기준으로 한 의사결정
반복 운영 업무와 수동 검증 흐름 자동화

경력

대용량 이벤트 스트림 처리 경로의 안정성, 제품 기능 확장, 배포 운영을 맡았습니다.
하루 약 30억 건의 이벤트를 처리하는 스트림 프로세서 10개 이상을 운영했습니다.
고객사 전환 이벤트와 광고 터치포인트를 매칭하고 어트리뷰션 결과를 산정하는 처리 흐름을 운영했습니다.
고객사 전환 이벤트를 광고 파트너로 실시간 전달하는 파트너 포스트백 처리 흐름을 운영했습니다.
사용자/디바이스 ID 매핑, Fraud Detection, 실시간 통화 환산, 파이프라인 설정 API 등 이벤트 처리 기능을 고도화했습니다.
권한과 iOS tracking level에 따른 데이터 마스킹 및 프라이버시 제어 기능을 추가했습니다.
Google Ads 전환 결과 교차 검증 리포트를 만들고 Meta Install Referrer 복호화 결과를 이벤트 처리에 연결했습니다.
Tumbling window 기반 이벤트 빈도 집계로 부정 트래픽 방지 규칙을 적용했습니다.
기기 설치 시간과 이벤트 발생 시간을 기준으로 Click Injection 방지 로직과 관련 설정 API를 추가했습니다.

Kubernetes 기반 self-managed ScyllaDB 클러스터를 운영했습니다.
Materialized View의 디스크 사용량이 높은 원인을 파악하여 클러스터의 디스크 사용량을 30%(약 9TiB) 줄이고 ScyllaDB 클러스터 증설을 방지했습니다.
클러스터 구축, 대시보드 구현, Scale in/down 등을 진행했습니다.

금융권 고객사를 위해 서울 리전에 이벤트 파이프라인과 저장소를 구축했습니다.
파이프라인 구현, ScyllaDB 구성, 부하 테스트를 진행하고 멀티 리전 CI/CD 설정을 정리했습니다.

데이터 파이프라인의 실행 환경을 ECS에서 EKS로 옮겼습니다.
Scale in/out 속도, 운영 편의성, 비용 가시성을 개선했습니다.

AMD 전용 워커 클러스터를 ARM/AMD 혼합 아키텍처로 전환하여 EC2 서버 비용의 20%를 절감했습니다.
CI/CD에서 이미지 빌드와 테스트를 병렬화해 빌드 시간이 늘어나지 않게 했습니다.
Kafka 기반 파이프라인 CPU 사용률을 최적화해 월 약 $6k의 비용을 절감했습니다.
트래픽 급증에는 빠르게 반응하고 유휴 구간에서는 CPU 낭비가 줄어들도록 KEDA 스케일러를 조정했습니다.

CloudWatch, Prometheus, New Relic GraphQL 데이터를 함께 보는 통합 Grafana 대시보드를 만들었습니다.
New Relic 수집량은 샘플링으로 관리하고, 핵심 컴포넌트에는 Prometheus 메트릭을 추가로 수집하여 비용과 가시성을 개선했습니다.
엔지니어가 아닌 조직에서도 주요 서비스 지표를 직접 볼 수 있게 Elasticsearch와 Snowflake 대시보드를 만들었습니다.
고객사별 파이프라인 설정을 운영할 수 있는 백오피스 도구를 여러 개 만들었습니다.
pytest 병렬화와 인메모리 데이터베이스 활용으로 CI 시간을 약 5분에서 약 1분으로 단축했습니다.
배포 트리거를 PR merge에서 comment 기반으로 바꿔 환경별 배포와 롤백을 단순화했습니다.
운영 데이터베이스를 함께 쓰던 개발 환경을 별도 환경으로 완전히 분리했습니다.
분리된 개발/스테이징 환경에 맞춰 배포 절차와 CI/CD 설정을 정리했습니다.

YAML/에디터 기반 시나리오 정의를 이벤트 요청으로 변환하고, 동일한 사용자/디바이스 컨텍스트로 순차 실행했습니다.
OpenSearch에 적재된 처리 결과를 조회해 단계별 기대값을 검증했습니다.
수동으로 만들던 이벤트 시나리오를 재현 가능한 테스트 시나리오로 바꿔 실시간 파이프라인 QA를 안정화했습니다.
실행 이력과 실패 단계 분석을 제공해 회귀 테스트 시나리오를 재실행할 수 있게 했습니다.

Kubernetes 클러스터 모니터링 SaaS CloudMoa 개발에 참여했습니다.
제품 기능에 필요한 PromQL을 작성하고 관리했습니다.
제품 화면에서 Kubernetes 클러스터 상태를 보여주는 PromQL을 유지보수했습니다.

Velero 기반 Kubernetes 클러스터 백업 PoC를 만들었습니다.
Kubernetes 클러스터 리소스를 주기적으로 스냅샷으로 백업할 수 있는지 검증했습니다.

프로젝트

GitHub 저장소

학력

연세대학교

2015.03 - 2022.02

컴퓨터과학 / 국제통상