원전 LLM 벤치마크가 말해주는 배포 기준: 점수보다 “근거 경로”를 먼저 보라

원전 분야에서 LLM을 검토하는 팀이라면 이 연구를 “어떤 구성이 시험을 더 잘 맞혔나”로만 읽어서는 충분하지 않다. 실무에 더 가까운 결론은 따로 있다. 원자로 운전원 면허시험형 벤치마크에서 파인튜닝과 검색 결합은 가능성을 보였다. 그러나 이 결과만으로 현장 보조 도구 배포를 정당화하기에는 검증되지 않은 항목이 많다. 특히 응답별 근거 제시, 환각률, 운영 중 감사 가능성은 이 연구 결과만으로 확인되지 않는다.

따라서 의사결정 규칙은 분명해야 한다. 원전처럼 규제·안전 요구가 높은 영역에서는 “시험 점수 개선”을 1차 필터로만 써야 한다. 배포 판단은 별도의 근거성·감사성 평가를 통과한 뒤에 해야 한다. 파인튜닝과 RAG 중 하나를 고르는 문제가 아니다. 어떤 오류를 줄였는지, 어떤 근거를 남길 수 있는지를 검증하는 문제다.

연구가 실제로 보여준 것

대상은 31B 파라미터 오픈웨이트 멀티모달 모델인 Gemma 4 31B-IT다. 연구는 이 모델을 미국 NRC 원자로 운전원 면허시험에 맞춰 평가했고, 총 여덟 가지 모델-검색 구성을 비교했다. 비교 축에는 기본 모델, 지도 파인튜닝, 그리고 U.S. Department of Energy Fundamentals Handbook을 대상으로 한 BM25 기반 검색 증강 생성이 포함된다.

핵심은 원전 지식을 모델 가중치 안에 넣는 방식과, 외부 문서를 검색해 참조하는 방식을 같은 시험형 벤치마크에서 비교했다는 점이다. 산업 특화 LLM 평가에서는 이런 비교가 빠질 때가 있다. 단순히 범용 추론 벤치마크 점수를 가져오면 원전 운전 지식의 적용 능력을 판단하기 어렵다. 이 연구는 평가 대상을 NRC 면허시험으로 옮겨, 도메인 사용 조건에 더 가까운 질문을 다뤘다.

성능 차이가 세부 과목별로 확인된 것은 아니다. Components, Reactor Theory, Thermodynamics 같은 과목 단위 분석이나 이미지·도면 포함 문항과 텍스트 전용 문항 간 비교는 확인되지 않는다. 보고된 차이는 주로 원자로 유형, 즉 PWR 문항과 BWR 문항에서 나타났다.

이 패턴은 제품 판단에 참고할 만하다. 검색은 모델이 상대적으로 약한 지식 영역에서 더 큰 이득을 줄 수 있다. 반대로 파인튜닝을 통해 기본 지식 적용 능력이 올라가면 검색의 상대적 추가 이득은 줄어들 수 있다. 그러므로 “RAG를 붙이면 안전해진다”가 아니라 “어떤 하위 영역에서 검색이 실제로 보완 효과를 내는지”를 시험해야 한다.

파인튜닝과 검색의 역할은 다르다

파인튜닝은 모델의 응답 습관과 도메인 문제 풀이 방식을 바꾼다. 면허시험형 문항처럼 일정한 형식과 지식 범위가 있는 경우, SFT는 정답 선택과 설명 구조를 안정화하는 데 유리할 수 있다. 그러나 파인튜닝된 지식은 배포 후 어떤 문서 버전과 연결돼 있는지 추적하기 어렵다. 모델이 왜 그렇게 답했는지, 특정 조항이나 핸드북 내용에 근거했는지를 응답 단위로 남기는 기능은 파인튜닝만으로 보장되지 않는다.

검색은 반대 성격을 가진다. BM25로 DOE Fundamentals Handbook을 검색하게 하면, 모델 가중치 밖의 원전 지식에 접근하는 경로가 생긴다. 이론상 문서 갱신, 근거 확인, 감사 기록과 연결하기 쉽다. 하지만 이 연구에서 검색이 실제 최신성을 개선했는지, 응답마다 출처를 제시했는지, 환각을 얼마나 줄였는지는 직접 평가된 것으로 확인되지 않는다.

이 차이가 배포 판단의 핵심이다. 시험 성능이 좋아졌다는 사실은 “문제를 더 잘 풀었다”는 근거다. “근거 있는 답을 냈다”, “운영자가 검토 가능한 답을 냈다”, “감사 시 재현 가능한 판단을 남겼다”는 별도 주장이다. 원전 보조 도구에서 필요한 것은 후자에 가깝다.

실무 결정 규칙

원전 LLM을 도입하려는 팀은 다음 순서로 판단하는 편이 낫다.

첫째, 면허시험형 벤치마크를 게이트로 삼는다. 일반 벤치마크 점수보다 NRC 운전원 시험처럼 도메인 지식 적용을 요구하는 평가가 더 가깝다. 다만 합격률이나 평균 점수 하나로 끝내지 말고 PWR/BWR처럼 설비 유형별로 나눠 봐야 한다. 이 연구에서는 검색 효과가 특정 유형에서 더 크게 나타났다.

둘째, 파인튜닝과 검색을 경쟁 관계로 두지 않는다. SFT 단독, 검색 단독, SFT+검색을 모두 비교해야 한다. 특히 검색의 이득이 약한 영역과 큰 영역을 분리해야 한다. 검색이 BWR 문항에서 더 큰 개선을 보인 결과는, 취약 영역 보완용으로 RAG를 검토할 근거가 된다. 다만 SFT 이후 격차가 줄어든 점을 함께 봐야 한다. 파인튜닝이 일부 지식 적용 격차를 흡수했을 가능성이 있기 때문이다.

셋째, 배포 전 별도 감사성 평가를 둔다. NIST AI RMF는 AI 시스템을 배포 전과 운영 중 정기적으로 시험해야 하며, 독립 검토가 시험의 품질을 높이고 내부 편향과 이해상충을 줄일 수 있다고 본다. NRC의 신규 원자로 품질보증 설명도 절차, 기록 보존, 검사, 시정조치, 감사 같은 요소를 QA 프로그램의 속성으로 제시한다. 이 원칙을 LLM 보조 도구에 적용하면, 최소한 시험 데이터, 지표, 실패 유형, 모델 구성, 검색 문서, 운영 로그, 시정조치 절차가 남아야 한다.

넷째, 사람의 승인권한을 형식이 아니라 중단권으로 설계한다. 고위험 현장에서 인간 감독은 “최종 확인자가 있다”는 문구만으로 충분하지 않다. 운영 중 모델 행위가 기준을 벗어나면 배포를 제한하거나 중단할 수 있어야 한다. 그 권한과 책임자도 문서화돼야 한다.

이 연구는 원전 LLM 평가의 출발점으로 볼 수 있다. 그러나 실무 결론은 보수적이어야 한다. SFT+RAG 구성이 시험에서 더 나은 결과를 냈더라도, 그것은 배포 승인 근거가 아니다. 다음 검증 단계로 넘어갈 근거에 가깝다. 제품팀이 지금 정해야 할 것은 모델명이 아니라 평가 체계다. “도메인 시험 성능을 통과하고, 응답 근거가 추적 가능하며, 운영 중 감사와 중단 절차가 있는 구성만 제한적 보조 도구로 검토한다.” 이 기준을 만족하지 못하면 원전 현장에서는 파일럿도 지식 검토 환경 안에 묶어두는 편이 맞다.

Aionda

원전 LLM 배포 판단의 기준

원전 LLM 벤치마크가 말해주는 배포 기준: 점수보다 “근거 경로”를 먼저 보라

연구가 실제로 보여준 것

파인튜닝과 검색의 역할은 다르다

실무 결정 규칙

다음으로 읽기

참고 자료

업데이트 받기