세 줄 요약

• 무슨 변화/핵심이슈인가? 라벨 불일치를 ‘오염’으로 보고 다수결로 단일 정답을 만드는 관행이, 주관적 과제에서 “ground truth illusion”을 만들 수 있다는 문제 제기다.
• 왜 중요한가? 안전 라벨링(RLHF/레드팀)·LLM 벤치마크·공정성 평가에서 불일치를 삭제하면 소수 관점이 약화될 수 있다. 모델의 캘리브레이션/선택적 예측 같은 운영 의사결정도 함께 흔들릴 수 있다.
• 독자는 뭘 하면 되나? 다음 데이터/평가 사이클에서 “합의율(κ 등) 최대화”를 최종 목표로 두지 말고, 분포 라벨+이유 메타데이터+집단별 비교를 산출물로 강제하는 규칙으로 파이프라인을 재설계하라.

현황

머신러닝에서 “ground truth”는 학습·평가의 기준 라벨을 뜻한다. 문제는 arXiv 2602.11318v2가 지적하듯, 이 패러다임이 인간 불일치를 기술적 잡음으로만 취급하는 “positivistic fallacy” 위에 놓일 수 있다는 점이다. 이 논문은 “2020–2025”에 나온 연구를 “7개” 주요 학회(ACL, AIES, CHI, CSCW, EAAMO, FAccT, NeurIPS)에서 체계적으로 검토한다. 그리고 합의(컨센서스) 중심 라벨링이 주관성과 가치 충돌을 삭제할 수 있다고 본다.

현장에서 흔한 방식은 다수결(majority vote)로 골드 라벨을 만들고, 낮은 합의 샘플을 “품질 이슈”로 처리하는 것이다. 그런데 Crowd-Calibrator(arXiv 2408.14141)는 주관적 NLP 과제에서 다수결 골드가 불일치와 내재적 불확실성을 가릴 수 있다고 지적한다. 그리고 주석자 불일치를 캘리브레이션의 ‘정보’로 다루는 방향을 논의한다. 또 “crowd 라벨 분포”와 “모델 분포”의 거리를 쓰거나, 선택적 예측(필요하면 abstain) 같은 운영 설정에서 성능을 보고하는 접근이 등장한다(정량 개선폭은 이 글만으로는 특정하지 않는다).

공정성/대표성 측면의 경고도 있다. arXiv 2311.09743은 주관적 과제에서 라벨을 집계(aggregating)하면 편향된 라벨과 편향된 모델로 이어질 수 있고, 소수 의견을 놓칠 수 있다고 말한다. 즉 “합의가 높다=좋다”를 단일 목표로 두면, 특정 규범을 표준으로 고정하는 결과가 생길 수 있다.

분석

의사결정 관점에서 핵심은 목표함수의 전환이다.
If 과제가 “정답이 하나”인 영역(예: 센서 측정, 명확한 규칙 기반 판정)에 가깝다면, 단일 라벨은 비용과 운영 복잡도를 줄이는 선택이 될 수 있다. Then 합의율을 품질 지표로 관리하는 방식도 일부 상황에서는 쓸 수 있다.
반대로 If 혐오표현·유해성·정치적 발화처럼 맥락과 가치가 개입되는 과제라면, Then 불일치는 결함이 아니라 “사람들이 어디서 갈라지는지”를 알려주는 신호가 된다. 이때 다수결은 분기점을 지우고 하나의 결과만 남길 수 있다. 그 결과 모델은 “논쟁적인 입력”을 논쟁적이라고 표현할 기회를 잃을 수 있다. 운영자는 리스크 구간을 분리해 정책/UX로 다룰 근거가 약해질 수 있다.

우려와 반론도 있다. 첫째, 분포 라벨/다중 관점 라벨은 비용을 올리고 의사결정 속도를 늦출 수 있다. 둘째, “불일치 보존”이 책임 회피로 쓰일 위험이 있다. 논쟁적 사안에서 “관점이 있으니 책임도 분산” 같은 태도가 나올 수 있다. 셋째, 평가가 어려워진다. 단일 정답 정확도 대신 분포 간 거리나 집단별 비교를 쓰면, 제품팀이 이해하고 합의할 KPI를 새로 정해야 한다. 그래서 결론은 “합의를 포기하자”가 아니다. “어디서 합의가 필요하고, 어디서 불일치를 남겨야 하는지”를 구획하는 설계 문제로 내려온다.

실전 적용

재설계의 출발점은 산출물 정의다. 라벨링 결과를 “정답 1개”가 아니라 (1) 라벨 분포, (2) 불일치 이유(맥락/가치충돌) 메타데이터, (3) 집단별 분포 비교로 묶어야 한다. 합의율(κ 등)을 “품질의 최종 목표”로 두면, 운영팀은 불일치를 벌점으로 다루기 쉽다. 대신 품질 목표를 “불일치의 재현 가능성(같은 조건에서 같은 분포가 나오는가)”과 “소수 관점의 손실 최소화(집단별 분포가 집계로 붕괴하지 않는가)”로 바꿔야 한다.

예: 안전 레드팀 데이터에서 모델 응답의 유해성을 라벨링할 때, 다수결 하나로 “유해/무해”를 정하는 대신 라벨 분포를 남긴다. 동시에 “어떤 맥락에서 유해로 읽혔는지”를 사유 코드로 기록한다. 그러면 모델은 단일 답을 맞히는 과제만 수행하는 것이 아니다. 불확실 구간에서의 보수적 동작(예: abstain, 추가 질문, 더 강한 안전 정책 적용) 같은 운영 로직과 결합할 수 있다. Crowd-Calibrator가 말하듯 불일치를 캘리브레이션 정보로 연결하면, “자신감 높은 오답”이 위험해지는 영역에서 대응 옵션을 늘릴 수 있다.

오늘 바로 할 일 체크리스트

• 주관적 과제 데이터셋에서 다수결 골드만 저장했다면, 원 주석(개별 라벨)과 라벨 분포를 함께 보존하도록 스키마부터 바꿔라.
• 합의율(κ 등)을 라벨러 인센티브/패널티에 직접 연결했다면, “불일치 사유 메타데이터 제출”을 보상하는 구조로 전환하라.
• 평가 리포트에 단일 점수만 넣지 말고, 집단별 라벨 분포 차이를 함께 보고하는 표준 템플릿을 만들라(집계가 소수 관점을 지우는지 점검용).

FAQ

Q1. 그럼 ‘정답’은 포기해야 하나요?
A1. 포기할 필요는 없습니다. 과제 성격에 따라 단일 정답이 유효한 영역이 있고, 그 경우 합의 기반 라벨이 비용 대비 유리할 수 있습니다. 다만 혐오표현·유해성처럼 주관성과 맥락이 큰 과제에서는 불일치를 노이즈로만 두지 말고 분포와 사유를 함께 남기는 편이 안전·공정성 리스크를 낮추는 데 도움이 될 수 있습니다.

Q2. 합의율(κ 같은 지표)을 품질 목표로 두면 왜 문제가 되나요?
A2. 주관적 과제에서 합의율을 최대화하면, 가치 차이와 경험 차이가 ‘틀린 라벨’로 처리되기 쉽습니다. 그 과정에서 다수 관점이 표준으로 고정되고 소수 관점이 집계 과정에서 약화될 수 있습니다. 문헌에서는 이런 흐름이 편향된 라벨과 편향된 모델로 이어질 수 있다고 경고합니다.

Q3. 분포 라벨을 쓰면 모델 성능이나 캘리브레이션이 실제로 좋아지나요?
A3. 이 글 범위에서 말할 수 있는 내용은 제한적입니다. 다수결 골드가 불확실성을 가릴 수 있고, 불일치를 분포로 모델링해 crowd 분포와 모델 분포의 거리를 활용하거나 crowd 동의도에 맞춰 캘리브레이션하는 접근이 가능하다는 점까지는 정리할 수 있습니다. 다만 “얼마나 개선되는지” 같은 정량 수치는 여기 제공된 자료만으로는 특정할 수 없습니다.

결론

“합의=품질”이라는 단순한 방정식은 주관적 과제에서 비용을 줄이는 수단이 될 수 있다. 하지만 안전·공정성·평가 신뢰도에서 비용을 뒤로 미루는 방식이 될 가능성도 있다. 다음 사이클에서 봐야 할 신호는 단일 점수 경쟁만이 아니다. **불일치를 어떻게 기록하고(분포), 설명하고(메타데이터), 비교하는지(집단별)**를 표준화하는 경쟁으로 옮겨갈 필요가 있다.

다음으로 읽기

• AI 자료 모음 (24h) - 2026-03-09
• 성인 모드는 토글이 아니다
• AI 자료 모음 (24h) - 2026-03-08
• 벤치 점수 집착을 넘는 평가 프레임
• LLM과 과학모델 결합의 평가 루프

참고 자료

• Balancing Knowledge and Governance: Foundations for Effective Risk Management of Artificial Intelligence | NIST - nist.gov
• AI Risk Management Framework FAQs | NIST - nist.gov
• arxiv.org - arxiv.org
• Crowd-Calibrator: Can Annotator Disagreement Inform Calibration in Subjective Tasks? - arxiv.org
• Capturing Perspectives of Crowdsourced Annotators in Subjective Learning Tasks - arxiv.org
• The 'Problem' of Human Label Variation: On Ground Truth in Data, Modeling and Evaluation - arxiv.org