Daniel Kim 의 기술 블로그

Home
About
Github
LinkedIn

Featured

안녕하세요

김세환

2022년 2월 19일

0219

ECR Pull-Through Cache 적용기(feat: Docker Rate Limit 을 피해서)

들어가며 EKS 환경에서 Helm Chart를 이용해 여러 애플리케이션을 배포하다 보면, Docker Hub(registry-1.docker.io)의 이미지를 그대로 사용하는 경우가 많습니다. 그런데 NAT IP가 고정된 상태에서 노드가 자주 추가/삭제 되는 스케일 아웃/인을 반복하는 환경이라면 Docker Hub 의 Image Pull Rate Limit 에 걸릴 우려가 있습니다. 특히, 2024년 6월

2025년 2월 27일 19 min read

EMR on EKS 환경에서 spark driver 와 executor 가 같은 AZ 에 스케쥴링 되도록 하는 방법 (가용성까지 확보하면서)

💡emr-on-eks 환경에서 spark driver pod 와 executor pod 가 서로 다른 AZ(가용영역)에 있으면 AZ 간 통신비용이 많이 발생하게 됩니다. 따라서 spark driver pod 가 쿠버네티스에 의해 특정 노드에 스케쥴링 되었을 때, executor pod 가 해당 driver pod 가 스케쥴링 된 노드의 AZ 와 동일한 AZ에 존재하는 노드에 스케쥴링

2024년 12월 14일 11 min read

S3 다운로드 작업시 동기, 비동기, 멀티스레드, 멀티프로세스 성능 비교 (python)

최근 많은 파일들 (버킷 자체로 따지면 천만개 이상, Prefix 나 날짜별로 분리해도 수천~수만 이상)들을 다운로드받고 그것을 tar.gz 으로 아카이브 및 압축을 해서 특정 버킷에 glacier 클래스로 밀어넣어야 하는 요구사항을 처리하게 되었다. 이 때 파일을 다운로드 받아야 아카이브 및 압축을 할 수 있기 때문에 처음에는 aws cli 를

2024년 8월 14일 14 min read

Daniel Kim 의 기술 블로그 © 2025

Sign up

Powered by Ghost