CKD 선별에 LLM을 바로 붙일 수 있는가: 답은 아직 “아니오”다

이 글의 독자는 병원·검진기관·헬스케어 제품팀에서 만성콩팥병(CKD) 초기 선별 도구를 검토하는 사람이다. 결정 질문은 단순하다. 라벨 데이터를 모으고 별도 모델을 학습시키는 대신, LLM을 제로샷 또는 퓨샷으로 써도 되는가.

LLM4CKD에서 얻을 수 있는 가장 유용한 신호는 “가능성”보다 “판정 기준”에 가깝다. 이 연구는 LLM을 CKD 선별 후보로 평가할 때 무엇을 비교해야 하는지 제시한다. 그러나 공개된 결과만으로 LLM을 실제 임상 선별 도구로 채택할 근거는 부족하다. 특히 선별 도구라면 민감도와 특이도를 함께 봐야 한다. 확인된 결과에는 사전 정의된 임상 허용 기준이 없고, 핵심 성능 표만으로는 특이도까지 함께 판정하기 어렵다.

이 연구가 실제로 비교한 것

LLM4CKD의 비교 구도는 제로샷·퓨샷 LLM과 지도학습 기반 ML, DL, 표형 파운데이션 모델을 같은 조건에 놓는 것이다. LLM은 별도 학습 없이 프롬프트와 인컨텍스트 예시로 판단한다. 지도 모델은 제한된 라벨 학습 데이터 크기에서 학습한다. 확인된 설정에서는 퓨샷 인컨텍스트 예시와 지도 모델의 저데이터 학습 부분집합이 모두 80% 학습 파티션에서 샘플링됐다. 지도 모델은 4, 8, 16, 32개 라벨 데이터 크기에서 평가됐다.

평가 지표도 단순 정확도에 머물지 않는다. 핵심 지표는 균형 정확도와 Brier loss다. 상세 비교에는 AUROC, macro-F1, 민감도, 기대 보정 오차가 포함된다. 모델 간 차이는 반복 평가의 샘플별 Brier loss를 이용한 paired permutation test와 mixed-effects 분석으로 검정했다.

이 구성은 중요하다. CKD 선별에서는 양성과 음성 오류의 비용이 같지 않을 수 있다. 데이터 불균형이 있으면 일반 정확도만으로는 의사결정이 왜곡될 수 있다. 균형 정확도는 양·음성 양쪽 성능을 함께 보려는 선택이다. Brier loss와 보정 오차는 “모델이 맞혔는가”뿐 아니라 “출력을 확률처럼 해석할 수 있는가”를 묻는다. 임상 의사결정 지원에서는 두 번째 질문도 중요하다. 위험 점수가 실제 위험과 맞지 않으면, 같은 점수라도 현장에서 후속 검사 기준을 정하기 어렵다.

LLM의 장점은 학습 생략, 약점도 그 지점에서 나온다

LLM 접근의 제품상 매력은 학습 생략에 있다. 제로샷은 데이터셋별 학습 없이 바로 적용을 시도한다. 퓨샷은 몇 개 예시를 문맥에 넣어 판단을 유도한다. 라벨 데이터 확보와 모델 학습 파이프라인이 부담인 환경에서는 검토할 만한 대안이다.

하지만 이 장점은 곧 위험이 된다. 연구는 LLM에 대해 프롬프트 스타일, 직렬화 템플릿, 전체 특성 또는 선택 특성 구성까지 비교했다. 이는 성능이 모델 자체만의 속성이 아니라 입력 표현과 예시 구성에 민감할 수 있다는 뜻이다. 지도학습 모델은 라벨 데이터가 적으면 불안정할 수 있다. 그래도 학습 데이터와 검증 절차가 명시된다. 반면 LLM은 같은 환자 특성을 넣어도 프롬프트 설계가 달라지면 운영 성능이 바뀔 수 있다. 제품팀은 “학습이 필요 없다”가 아니라 “학습 대신 프롬프트와 입력 직렬화가 새로운 관리 대상이 된다”로 읽어야 한다.

채택이 아니라 재현 평가로 결정해야 한다

이 연구를 읽고 바로 내려야 할 결정은 다음과 같다.

실제 환자 선별에 배치할 도구를 고르는 단계라면, 제로샷·퓨샷 LLM을 단독 선별기로 채택하지 않는 것이 맞다. 최소한 배치 전에는 기관이 정한 민감도·특이도 기준, 보정 성능, 외부 검증 또는 실제 진료 환경 검증, 환자 데이터 처리 방식이 확인돼야 한다. WHO의 AI 보건 원칙은 개인정보와 기밀성 보호, 유효한 동의, 적절한 법적 데이터 보호 체계를 요구한다. LLM4CKD 자체가 환자 데이터 저장·전송·재식별 방지, 결과별 설명 제공, 외부 검증을 어떻게 충족했는지는 확인된 근거만으로 판단할 수 없다.

반대로 내부 기술 검토나 파일럿 전 단계라면, LLM4CKD식 비교 프로토콜은 참고할 만하다. 같은 선택 특성, 같은 홀드아웃 테스트 샘플, 같은 저라벨 조건에서 LLM과 ML·DL·표형 파운데이션 모델을 비교해야 한다. LLM은 제로샷과 퓨샷을 모두 보되, 프롬프트 스타일과 직렬화 템플릿을 고정하고 변경 이력을 남겨야 한다. 지도 모델은 4, 8, 16, 32개 같은 제한된 라벨 크기에서 함께 돌려야 한다. 평가는 균형 정확도 하나로 끝내지 말고 Brier loss, AUROC, macro-F1, 민감도, 기대 보정 오차를 같이 봐야 한다.

의사결정 규칙은 명확하다. 조직이 요구하는 민감도와 특이도 기준을 사전에 적을 수 없거나, LLM 출력의 확률 보정을 검증할 수 없거나, 환자 데이터 입력·처리에 대한 동의와 보호 체계를 설명할 수 없다면 제품화 단계로 넘어가면 안 된다. 이 경우 LLM은 “임상 선별기”가 아니라 “저라벨 조건에서 비교할 후보 모델”로만 다뤄야 한다.

다음으로 읽기

• 채용 LLM 감사는 과정 로그부터
• AI 자기증폭 루프를 보는 법
• 인과 리코스 XAI의 제품 설계 기준
• 문서 추출 에이전트 평가는 실행 로그부터
• GPU 증설 전 확인할 클러스터 병목

참고 자료

• WHO issues first global report on Artificial Intelligence (AI) in health and six guiding principles for its design and use - who.int
• LLM4CKD: Large Language Models for Early Stage Chronic Kidney Disease Screening - arxiv.org
• From Many to Meaningful: Feature-Guided Zero-Shot Chronic Kidney Disease Screening Using Large Language Models - arxiv.org
• arxiv.org - arxiv.org