데이터 엔지니어링

거래소 열한 곳의 호가를 Rust 수집기, Redpanda, RisingWave로 모아 USD 기준 프리미엄을 계산하고 웹 터미널로 서빙하는 구조와 설계 결정을 정리합니다.

분산 스냅샷의 고전 Chandy-Lamport가 Flink의 Asynchronous Barrier Snapshotting과 RisingWave의 epoch barrier로 이어지는 흐름을 정리한 학습 노트입니다.

S3 Parquet와 BigQuery로 이중 운영하던 데이터를 Delta Lake 한 벌로 합치고, Databricks 고객에게는 Delta Sharing, 그 밖에는 UniForm을 통한 Iceberg로 제공한 과정.