터키어 검색·임베딩 제품을 만들고 있다면 MoganBert-TR에서 볼 핵심은 “149M 터키어 인코더가 나왔다”는 사실만이 아니다. 제품 관점에서 더 실용적인 신호는 따로 있다. 같은 데이터, 같은 아키텍처, 같은 학습 스텝 예산에서 CLM 이후 MLM으로 전환한 사전학습 커리큘럼이 순수 MLM보다 터키어 MS MARCO 검색에서 2.7~3.7배 높은 성능을 냈다는 보고다.

다만 이 결론은 좁게 써야 한다. 이 결과만으로 “터키어 모든 다운스트림 태스크에서 CLM-to-MLM이 우월하다”고 말할 수는 없다. TrGLUE와 TabiBench의 최종 성적은 제시됐지만, 제공된 근거 안에서는 순수 MLM과의 직접 비교 차이가 확인되지 않는다. 따라서 이 논문이 의사결정에 주는 값은 범용 우월성 선언이 아니다. 터키어 검색·임베딩에서 사전학습 목표 전환을 실험 우선순위로 올릴 만한 근거다.

무엇을 믿어도 되는가

출처로 확인되는 사실은 세 가지다. MoganBert-TR는 터키어용 149M 파라미터 인코더 파운데이션 모델이다. 언어별로 필터링한 237.3B 토큰 코퍼스로 처음부터 학습됐다. 학습은 두 단계로 구성됐다. 먼저 causal language modeling, 즉 CLM으로 학습한 뒤 masked language modeling, 즉 MLM으로 전환하는 커리큘럼이다. 여기서 파생된 MoganBert-Embed는 149M 파라미터 터키어 임베딩 모델이다. 모델 카드는 이 모델이 의미 검색·클러스터링·분류·STS에 쓰는 단일 벡터 임베딩을 제공하며, 별도 프롬프트나 태스크 지시가 필요 없다고 설명한다.

가장 강한 증거는 통제된 ablation이다. 같은 아키텍처, 같은 코퍼스, 같은 스텝 예산에서 CLM-to-MLM 설계가 순수 MLM보다 터키어 MS MARCO 검색에서 2.7~3.7배 높았다고 보고됐다. 이 비교는 제품팀 입장에서 의미가 크다. “데이터를 더 모았다”거나 “모델을 키웠다”는 비교가 아니라, 학습 목표의 순서를 바꾼 효과를 비교했기 때문이다.

반대로 237.3B 토큰의 언어별 필터링 코퍼스가 성능에 얼마나 기여했는지는 이 근거만으로 분리해 말할 수 없다. 논문은 그 코퍼스를 학습 기반으로 사용했다. 그러나 필터링 코퍼스와 미필터링 코퍼스를 직접 비교한 결과는 확인되지 않는다. 그러므로 성능 개선을 “언어별 필터링 덕분”으로 귀속하는 것은 과잉 해석이다.

왜 검색에서 신호가 컸을 가능성이 있는가

MLM은 문장 안 일부 토큰을 가리고 맞히는 목표다. 인코더 모델의 표준적인 사전학습 방식이지만, 토큰 단위 복원에 강하게 맞춰져 있다. CLM은 이전 문맥으로 다음 토큰을 예측한다. 인코더 모델에 CLM을 먼저 적용한 뒤 MLM으로 바꾸는 설계는, 초기에 순차적 언어 예측으로 더 넓은 문맥 구조를 학습하게 한 다음 인코더식 양방향 표현 학습으로 정렬하는 절충으로 해석할 수 있다.

이 설명은 편집자의 기계적 가설이지, 논문 밖에서 확정된 사실은 아니다. 다만 검색 성능에서 큰 차이가 보고됐다는 점과는 맞물린다. 검색 임베딩은 단순한 토큰 복원보다 질의와 문서의 의미적 대응을 벡터 공간에 안정적으로 배치해야 한다. CLM 단계가 문맥 흐름과 표현 초기화를 바꾸고, MLM 단계가 인코더 표현으로 재조정했다면, 동일 예산 안에서도 retrieval 쪽 이득이 커질 수 있다.

여기서 제품 의사결정의 핵심은 “CLM-to-MLM을 쓰면 다 좋아진다”가 아니다. 더 좁은 결론은 “터키어 검색에서는 사전학습 목표가 아키텍처만큼 중요한 변수일 수 있다”는 것이다. 기존 터키어 인코더를 MLM 중심으로만 비교해왔다면, 실험 설계에서 놓치고 있던 축을 하나 더 검토할 필요가 있다.

MoganBert-Embed를 바로 쓸지, 비교 후보로 둘지

MoganBert-Embed의 보고 성적도 유용하지만 해석은 조심해야 한다. 논문은 이 모델이 MTEB Turkish 전체 평균 68.30으로 학생 모델 중 1위이며, 7.57B 파라미터 교사 모델 점수의 99.5%에 도달했고 백본은 51배 작다고 보고한다. 이는 터키어 중심 임베딩을 작은 백본으로 배포하려는 팀에 장점이 될 수 있다. 단일 벡터 임베딩을 의미 검색·클러스터링·분류·STS에 함께 쓰고, 프롬프트 없이 운용할 수 있다는 점도 제품 통합 비용을 낮출 수 있다.

하지만 검색 범주는 상대적 약점으로 보고됐다. 제공된 근거에 따르면 MoganBert-Embed는 retrieval 평균에서 mE5와 BGE-M3보다 낮았다. 따라서 “터키어 전체 임베딩 평균”이 높다는 이유만으로 검색 제품의 1순위 후보라고 단정하면 안 된다. 운영 목표가 검색 품질 하나라면, MTEB 전체 평균보다 검색 카테고리 점수를 우선해야 한다.

교차언어 검색이나 비터키어 성능 우위도 확인되지 않았다. 터키어 고객 문의, 터키어 문서, 터키어 분류처럼 입력과 출력의 주 언어가 터키어인 경우에는 후보로 올릴 수 있다. 반대로 터키어-영어 혼합 검색, 다국어 문서 라우팅, 여러 언어를 하나의 임베딩 공간에 넣는 제품이라면 이 근거만으로 MoganBert-Embed를 기본값으로 삼기 어렵다.

결정 규칙

터키어 전용 검색 또는 임베딩 모델을 새로 학습할 예산이 있다면, 순수 MLM 베이스라인만 두지 말고 CLM-to-MLM을 ablation 후보에 넣는 것이 타당하다. 제공된 근거에서 가장 직접적이고 강한 개선 신호가 이 비교에서 나왔다.

이미 임베딩 모델을 골라야 하는 팀이라면 기준을 나눠야 한다. 터키어 중심의 분류·클러스터링·STS·범용 의미 임베딩을 작은 모델로 운영하려는 경우 MoganBert-Embed는 평가 후보에 넣을 만하다. 반면 순수 검색 품질이 최우선이면 mE5, BGE-M3 같은 비교 후보와 retrieval 세트에서 직접 재평가해야 한다. 보고된 결과 자체가 MoganBert-Embed의 retrieval 약점을 말하고 있기 때문이다.

마지막으로, 코퍼스 필터링 효과를 검증하려는 연구팀은 이 논문 결과를 그 증거로 쓰면 안 된다. 확인된 것은 237.3B 토큰의 언어별 필터링 코퍼스를 사용했다는 사실과, 같은 코퍼스 위에서 CLM-to-MLM이 순수 MLM보다 검색에서 강했다는 점이다. 필터링의 독립 효과를 알고 싶다면 필터링 여부만 바꾼 별도 실험이 필요하다.

다음으로 읽기

• ICVD로 보는 NICU 비디오 AI 검증
• Agent-G²와 힌트 깊이 선택 기준
• 코드 에이전트 평가의 기능과 보안
• 장기 자율 에이전트 하네스 평가법
• 항공 진단 AI의 병목 제거 관점

참고 자료

• moganai/MoganBERT-Embed - huggingface.co
• arxiv.org - arxiv.org