Airflow Featured EMR on EKS 환경에서 spark driver 와 executor 가 같은 AZ 에 스케쥴링 되도록 하는 방법 (가용성까지 확보하면서) EMR on EKS 에서 Spark driver 와 executor 를 같은 AZ 에 스케줄링해 AZ 간 통신 비용을 줄이는 방법입니다. 가용성을 잃지 않으면서 적용한 설정을 공유합니다.
K8s Featured Airflow 무중단 이전 EKS 버전 업그레이드 과정에서 Airflow 를 새 클러스터로 무중단 이전한 경험을 공유합니다. Scheduler·Webserver·Worker 컴포넌트별 역할 분석과 이전 전략을 담았습니다.
