Generator1 파이썬으로 메모리 부족(OOM) 없이 수 기가바이트(GB) 대용량 파일 처리하는 5가지 핵심 전략 "파이썬 대용량 파일처리 노하우" 데이터 엔지니어링이나 백엔드 개발을 하다 보면, 로컬 메모리(RAM) 용량을 훌쩍 넘어서는 거대한 데이터 파일을 처리해야 할 때가 반드시 옵니다. 무심코 read()나 readlines()를 호출했다가 MemoryError를 만나거나, 서버가 먹통이 되는 경험은 누구나 한 번쯤 겪어보셨을 겁니다.오늘은 파이썬에서 메모리를 효율적으로 관리하며 대용량 파일을 우아하게 처리하는 노하우 5가지를 정리해 드립니다.1. 한 번에 읽지 말고 '스트리밍' 하라 (Lazy Evaluation)가장 기초적이지만 중요한 원칙입니다. 파일 전체를 리스트로 메모리에 올리는 것은 자살행위와 같습니다. 파이썬의 파일 객체는 그 자체로 이터레이터(Iterator)입니다. 😢 나쁜 예 (전체 로드).. 2025. 12. 9. 이전 1 다음
