Daniel Kim 의 기술 블로그
  • Home
  • About
  • Github
  • LinkedIn

S3

A collection of 1 post
S3 다운로드 작업시 동기, 비동기, 멀티스레드, 멀티프로세스 성능 비교 (python)
S3 Featured

S3 다운로드 작업시 동기, 비동기, 멀티스레드, 멀티프로세스 성능 비교 (python)

최근 많은 파일들 (버킷 자체로 따지면 천만개 이상, Prefix 나 날짜별로 분리해도 수천~수만 이상)들을 다운로드받고 그것을 tar.gz 으로 아카이브 및 압축을 해서 특정 버킷에 glacier 클래스로 밀어넣어야 하는 요구사항을 처리하게 되었다. 이 때 파일을 다운로드 받아야 아카이브 및 압축을 할 수 있기 때문에 처음에는 aws cli 를
2024년 8월 14일 14 min read
Page 1 of 1
Daniel Kim 의 기술 블로그 © 2025
  • Sign up
Powered by Ghost