CryptoQuant
2023.08 ~ 재직 중
Web3 데이터 엔지니어
블록체인·마켓 데이터 입수부터 변환, 기관 고객 대상 데이터 서빙, 파이프라인 인프라까지 데이터 플랫폼 전 구간 담당
데이터 플랫폼 현대화 — Open Table Format 기반 서빙 전환
- 미 증권사 등 기관 고객의 다양한 데이터 소비 니즈에 대응하기 위해, PostgreSQL 중심 API 서빙 구조를 Databricks 기반 Delta Lake로 마이그레이션
- Delta UniForm으로 Iceberg 카탈로그를 제공해 고객의 Snowflake·BigQuery 직접 연동 지원, API 외 데이터 세일즈 채널 확보
분석 파이프라인 표준화 및 고도화
- BigQuery 기반 분석 플랫폼의 데이터 파이프라인 관리 및 최적화
- dbt로 데이터 변환 파이프라인 표준화, 대규모 연산을 Spark 분산 처리로 전환해 데이터 레이턴시 단축
XRP Ledger 데이터 프로덕트
- XRP Ledger 및 마켓 데이터를 PostgreSQL·BigQuery로 수집하는 파이프라인 개발
- 실시간 업데이트와 트랜잭션 데이터 디코딩을 포함해 경쟁 우위의 데이터 확보
워크플로우 오케스트레이션 및 인프라
- ArgoCD와 Kustomize·Helm으로 관리되는 HA Airflow 구축·운영으로 파이프라인 안정성과 운영 효율성 확보
- EC2 서비스를 EKS로 전환하고 Karpenter 기반 오토스케일링 도입, SPOT 인스턴스와 Kubernetes 재시작 로직으로 배치 워크로드를 빠르고 유연하게 프로비저닝