DiLoCo 집계, 평균이 최선일까

통신을 크게 줄이면서도 성능을 유지한 분산 학습이 있다면, 마지막 집계 단계에 꼭 ‘평균’만 써야 할까? 이번 글은 그 지점을 다룬다. arXiv에 올라온 *Can Model Merging Improve Aggregation in DiLoCo?*는 독립적으로 파인튜닝된 모델을 합치는 모델 머징을, 저통신 분산 학습인 DiLoCo의 집계 메커니즘에 적용할 수 있는지 탐색한다. 질문은 단순하다. 평균보다 다른 합치기 방식이 통신 병목과 최종 성능 사이의 균형을 바꿀 수 있느냐다.

세 줄 요약

핵심 쟁점은 DiLoCo 같은 저통신 분산 학습의 집계 단계에서 단순 평균 대신 모델 머징을 쓰면 더 나은 결과를 낼 수 있느냐는 점이다.
이 질문이 중요한 이유는 LLM 학습에서 통신이 비용과 속도에 큰 영향을 주기 때문이다. 이미 DiLoCo는 8 workers에서 fully synchronous optimization과 맞먹는 성능을 유지하면서 통신을 500 times less로 줄였다고 알려져 있다.
독자는 평균을 기본값으로 두되, 로컬 모델 간 차이가 커지는 조건에서는 임베딩과 비임베딩을 나눠 집계하는 실험 설계를 먼저 검증하고, 머징이 실제로 손익을 개선하는지 내부 벤치마크로 확인해야 한다.

현황

모델 머징은 원래 서로 독립적으로 파인튜닝한 모델을 하나로 합쳐 각자의 능력을 결합하려는 문제에서 출발했다. 이 분야에는 단순 평균 외에도 파라미터 중요도를 반영하는 방식이 제안됐다. 조사 결과에 따르면 Fisher-weighted averaging은 단순 파라미터 평균이 쓰이던 조건, 특히 robust fine-tuning과 model ensembling에서 성능 향상을 보였다. 즉, “다 더해서 나누는” 방식이 항상 최선이라고 보기는 어렵다.

한편 분산 학습 쪽에서는 local SGD와 DiLoCo가 통신량 절감을 위해 주목받아 왔다. 확인 가능한 스니펫 기준으로 DiLoCo는 C4 데이터셋에서 8 workers로 fully synchronous optimization과 맞먹는 성능을 내면서 통신을 500 times less로 줄였고, 각 worker의 데이터 분포 차이에 대해서도 강건성을 보였다. 이 숫자 두 개, 8과 500이 이 논의의 출발점이다. 집계를 덜 자주 하거나 더 가볍게 하면 통신은 줄어든다. 대신 로컬 모델이 서로 멀어질 위험은 커진다.

그래서 새 논문의 문제의식도 자연스럽다. DiLoCo의 집계 단계는 지금까지 주로 평균 기반 접근에 기대 왔다. 그런데 워커들이 일정 기간 각자 학습한 뒤 다시 만나는 구조라면, 이 순간은 분산 최적화이면서 동시에 “서로 조금씩 다른 모델을 합치는” 모델 머징 문제이기도 하다. 평균이 충분히 잘 작동하는 구간에서는 굳이 바꿀 이유가 없다. 반대로 각 워커의 업데이트가 평균 가정과 어긋나는 구간이라면, 머징 아이디어를 검토할 여지가 생긴다.

분석

여기서 의사결정 포인트는 분명하다. 만약 로컬 모델들이 비슷한 데이터, 비슷한 경로, 짧은 동기화 간격 아래에서 움직인다면 그때는 단순 평균이 여전히 가장 값싸고 예측 가능하다. 계산이 쉽고, 구현이 단순하며, 디버깅 부담도 낮다. 반대로 동기화 간격이 길어지거나, 각 워커가 보는 데이터 분포 차이가 커지거나, 파라미터 중요도가 서로 다르게 형성된다면 그때는 평균이 중요한 신호까지 희석할 수 있다. Fisher merging 같은 접근이 거론되는 이유도 여기에 있다. 모든 파라미터를 똑같이 취급하지 않기 때문이다.

다만 기대를 너무 빨리 키우면 안 된다. 조사 결과가 직접 확인한 것은 “특정 조건에서 머징이 평균보다 나을 수 있다”는 점이다. “DiLoCo 집계에 머징을 넣으면 전반적으로 우월하다”는 결론은 아니다. 서로 다른 데이터 분포에서 학습된 모델을 합치는 일은 여전히 까다롭다. merged-model performance가 highly unpredictable하다는 기존 연구 맥락도 있다. 더구나 DiLoCo의 강건성은 평균 기반 집계에서 확인된 결과다. 그 성질이 머징 기반 집계로 그대로 이어진다고 단정할 근거는 아직 부족하다. 다시 말해, 지금 단계의 메시지는 “대체재 확정”보다는 “집계 설계 재검토”에 가깝다.

또 하나의 트레이드오프도 있다. 통신을 줄이려면 동기화 빈도를 낮춰야 한다. 그런데 H가 너무 커지면, 즉 로컬 학습을 너무 오래 끌면, 수렴 속도와 최종 성능이 흔들릴 수 있다. 여기서 머징을 넣는다고 문제가 저절로 사라지지는 않는다. 오히려 머징은 집계 연산 자체를 더 복잡하게 만들 수 있다. 얻고자 하는 것이 통신 절감인지, 수렴 안정성인지, 최종 성능인지 목적을 먼저 정해야 한다. 목적이 섞이면 실험 해석도 흐려진다.

실전 적용

실무 팀이 지금 당장 취할 태도는 보수적인 실험 접근이다. 평균을 버리기보다, 평균이 약해지는 조건을 먼저 찾는 편이 맞다. 예를 들어 워커 간 데이터 분포가 균일하지 않거나, 동기화 간격을 늘려야 하는 인프라 제약이 있거나, 특정 파라미터 블록의 중요도가 뚜렷하게 갈리는 환경이라면 머징 기반 집계를 후보로 올릴 수 있다. 반대로 작은 규모, 짧은 동기화 간격, 균질 데이터에서는 평균이 총비용 대비 더 나은 선택일 가능성이 있다.

특히 조사 결과에서 나온 한 가지 힌트는 실험 설계에 바로 쓸 수 있다. DiLoCo 계열에서 규모가 16개 learner로 커졌을 때 비임베딩 파트에 RDA를 적용하면 성능 개선이 컸고, 임베딩은 평균이 약간 더 나은 경향이 있었다는 점이다. 이는 “전부 평균” 대 “전부 머징”의 이분법보다, 파라미터 구역별 하이브리드 집계가 더 현실적일 수 있음을 뜻한다. 평균과 머징을 경쟁시키기보다, 어디에 무엇을 쓸지 나눠 보는 편이 낫다.

오늘 바로 할 일 체크리스트 3개

현재 분산 학습 파이프라인에서 워커 간 파라미터 거리와 동기화 간격 변화에 따른 성능 저하 구간을 먼저 측정하라.
임베딩과 비임베딩을 분리해 평균 집계와 대안적 머징 집계를 각각 붙이는 소규모 A/B 실험을 설계하라.
최종 성능만 보지 말고 통신량, 수렴 시간, 실패 복구 난이도를 한 표로 묶어 의사결정 기준을 고정하라.

FAQ

Q. 이 논의는 곧바로 “모델 머징이 평균보다 낫다”는 뜻인가요?

아닙니다. 현재 확인 가능한 근거는 특정 조건에서 머징이 평균보다 나을 수 있다는 수준입니다. DiLoCo의 집계 단계 전반에서 머징이 일관되게 우월하다는 결론은 확인되지 않았습니다.

Q. 서로 다른 데이터 분포에서 학습된 로컬 모델도 안정적으로 합칠 수 있나요?

조건부로 가능합니다. 다만 관련 연구 맥락에서는 이 시나리오를 가장 어렵고 예측하기 힘든 경우로 다룹니다. DiLoCo가 데이터 분포 차이에 강건하다는 결과는 평균 기반 집계에서 나온 것이므로, 머징에서도 같다고 보기는 어렵습니다.

Q. 실무에서는 어떤 경우에 먼저 시험해볼 만한가요?

동기화 비용이 크고, 워커별 데이터 차이가 있으며, 평균 집계에서 성능 손실이 관측되는 경우입니다. 이때도 전면 교체보다 부분 적용이 낫습니다. 임베딩과 비임베딩을 나눠 다른 집계 방식을 시험하는 접근이 더 현실적입니다.

결론

이 주제의 본질은 새 알고리즘 하나보다 집계 철학의 변화에 있다. DiLoCo가 보여준 8 workers, 500 times less 같은 수치는 통신 절감의 가능성을 보여준다. 모델 머징은 그 절감의 대가를 더 줄일 수 있는지 묻는다. 다음에 살펴볼 것은 단순한 우열이 아니다. 어떤 조건에서 평균을 유지하고, 어떤 조건에서 머징을 섞을지 그 경계선이다.

Aionda

DiLoCo 집계, 평균이 최선일까

세 줄 요약

현황

분석

실전 적용

FAQ

결론

다음으로 읽기

참고 자료

업데이트 받기