개요 및 핵심 아키텍처
Distributed Data Parallel(DDP)은 모든 참여 디바이스에 모델 파라미터를 복제하며, 각 프로세스가 데이터셋의 서로 다른 부분으로 학습을 수행합니다. 각 GPU는 로컬 데이터 샤드에 대해 독립적으로 포워드/백워드 패스를 실행한 후, AllReduce 연산을 통해 그래디언트를 모든 GPU에서 집계하고 평균화하여 모든 모델 복제본의 일관성을 유지합니다.
동작 메커니즘: 초기화부터 파라미터 업데이트까지
DDP 생성자는 프로세스 0의 state_dict를 모든 다른 프로세스에 브로드캐스트하여 모든 모델이 동일한 상태에서 시작하도록 보장합니다. 각 DDP 프로세스는 그래디언트 동기화를 관리하는 Reducer를 생성하며, 이는 파라미터 그래디언트를 버킷으로 구성하여 통신 효율성을 높입니다. 백워드 패스 중 그래디언트가 준비되면 자동 미분 엔진의 훅이 발동되어 AllReduce를 트리거하고, 모든 버킷이 준비되면 Reducer는 모든 AllReduce 연산이 완료될 때까지 대기합니다. 따라서 백워드 패스 이후 param.grad는 모든 프로세스에서 동기화된 그래디언트를 포함합니다.
실무 주의사항: 커뮤니케이션 효율성과 동기화 순서
DDP는 모든 프로세스에서 AllReduce를 정확히 동일한 순서(버킷 인덱스 순)로 호출해야 하므로, 실제 준비 순서가 아닌 버킷 순서대로 AllReduce를 수행합니다. 프로세스 간 AllReduce 순서 불일치는 교착 또는 오류 결과를 초래할 수 있습니다. find_unused_parameters 옵션은 불필요한 오버헤드를 피하기 위해 필요할 때만 활성화해야 합니다. 또한 그래디언트 통신은 백워드 연산과 오버래핑되어 통신 지연을 숨기므로, 버킷 크기 설정과 데이터 샤드 크기 최적화가 성능에 직접 영향을 미칩니다.