Computer Science
파일 해싱 처리와 JVM 메모리
개요 회사에서 프로젝트를 진행하면서 파일 기반 로직을 도입하게 되었습니다. 이 때, 파일 내용을 해시 알고리즘을 통해 해싱하고 해당 값으로 여러 파일의 중복 여부를 빠르게 파악하고, 이에 따라 다양한 로직을 실행해야 했습니다. 동시에 많은 수의 파일을 입력 받아서 작업을 하기 위해 병렬처리가 필수적인 요구사항이 되었습니다. 병렬처리 상황에서 Out Of Memory(OOM) 오류 없이, 어떻게 최적의 성능을 발휘할 수 있을지에 대한 고민에서 실험을 진행하고, 이 글을 통해 그 경험을 공유하는 것이 목적입니다. JVM의 메모리 구조 JVM 메모리 구조는 여러 영역으로 나뉘는데, Heap, Stack, Method Area, 그리고 Native Method Stack이 주요 구성 요소입니다. 이 중에서 파일..
2024. 3. 12. 09:30