스킬 계약형 에이전트의 핵심은 “정답을 맞혔는가”와 “정해진 절차를 허용된 방식으로 끝까지 수행했는가”를 별도의 품질 축으로 나누는 데 있다. 에이전트를 제품에 넣는 팀이라면 이 차이를 가볍게 보면 안 된다. 어떤 업무는 최종 답변만 맞으면 충분하다. 그러나 어떤 업무는 중간 절차를 어기면 정답이 맞아도 실패다. 예를 들어 승인 전 실행, 검색 없이 단정, 특정 도구 호출 생략, 종료 조건 오판은 결과 텍스트만 평가해서는 잘 드러나지 않는다.

논문이 제안한 Grounded Skill-Following은 이 문제를 “스킬 계약”으로 다룬다. 여기서 계약은 단순한 자연어 지침 묶음이 아니다. 확인된 설명에 따르면 각 스킬은 사용자에게 보이는 스킬 지시문과 명시적 계약 런타임을 결합한다. 이 런타임은 요구 단계, 허용 행동, 가능한 전이, 인정되는 종료 조건을 명세한다. 또 실행 중 상태 전이를 추적해 Contract-State Feedback을 제공한다. 구체적으로 JSON인지 DSL인지 상태기계 문법인지는 확인되지 않았다. 다만 핵심은 자연어 권고를 넘어, 검증 가능한 실행 제약을 포함한다는 점이다.

왜 instruction following만으로 부족한가

일반적인 instruction following 평가는 대개 응답 수준의 요구사항을 본다. “짧게 답하라”, “표로 정리하라”, “이 조건을 포함하라” 같은 제약은 최종 출력에서 비교적 쉽게 확인된다. 반면 에이전트 업무는 출력 이전에 환경과 상호작용한다. 검색하고, 도구를 호출하고, 관찰값을 반영하고, 다음 단계로 넘어가고, 종료 여부를 판단한다.

문제는 최종 답변이 그럴듯해도 절차가 틀릴 수 있다는 점이다. 검색 에이전트가 검색 없이 답했는데 우연히 맞았을 수 있다. 수학 풀이 에이전트가 요구된 검산 단계를 건너뛰고 답만 맞혔을 수 있다. 운영 환경에서는 이런 성공이 위험할 수 있다. 재현성과 감사 가능성을 떨어뜨리고, 실패했을 때 원인을 추적하기 어렵게 만든다.

Grounded Skill-Following은 이 지점을 평가 대상으로 삼는다. 논문은 Protocol Completion Rate, 즉 PCR을 사용한다. PCR은 모든 필수 단계를 거쳐 인정된 종료 조건에 도달했는지를 측정한다. 이 지표는 최종 과업 성과와 분리된다. 따라서 “절차 준수율은 높지만 정답률은 낮다”와 “정답률은 높지만 절차 준수는 낮다”를 구분할 수 있다.

성능 수치가 말하는 것: 절차 준수는 정답률과 같은 축이 아니다

가장 실무적인 신호는 논문 내 Qwen 계열-4B 공동 학습 결과다. Math와 Search에서 PCR은 각각 99.27%, 99.96%로 보고됐다. 반면 최종 과업 성과는 Math 82.95%, Search 46.61%였다. 비교 대상으로 제시된 Recipe 기준선은 Math 85.18%, Search 40.70%였다.

이 숫자는 두 가지를 함께 드러낸다. 첫째, 계약 기반 학습은 절차 준수율을 높일 수 있다. 둘째, 절차 준수 향상이 항상 최종 정답 성능 향상으로 이어지지는 않는다. Math에서는 계약 기반 공동 학습의 최종 성과가 Recipe 기준선보다 낮고, Search에서는 높다. 그러므로 “계약을 넣으면 에이전트가 전반적으로 더 똑똑해진다”는 식의 결론은 근거가 부족하다.

더 정확한 해석은 이렇다. 스킬 계약은 모델의 추론 능력을 자동으로 끌어올리는 장치라기보다, 실행 경로를 통제하고 평가 가능하게 만드는 장치다. 제품 관점에서 이것은 성능 최적화 기법이라기보다 운영 리스크 관리 기법에 가깝다.

도입 판단: 정답형 업무가 아니라 절차형 업무에 먼저 쓴다

스킬 계약형 접근을 검토할 팀은 다음 기준으로 판단하는 편이 낫다.

최종 출력만으로 품질을 충분히 판정할 수 있는 업무라면, 스킬 계약은 과한 장치일 수 있다. 단순 분류, 요약, 형식 변환처럼 중간 행동이 제품 리스크와 직접 연결되지 않는 경우가 여기에 가깝다. 이때는 출력 평가, 샘플링 기반 검수, 회귀 테스트가 더 단순하고 저렴할 수 있다.

반대로 다음 조건 중 하나라도 강하면 스킬 계약을 우선 검토할 만하다. 첫째, 반드시 거쳐야 하는 단계가 있다. 둘째, 특정 행동은 특정 상태에서만 허용돼야 한다. 셋째, 종료 조건이 명확해야 한다. 넷째, 실패 시 “무슨 단계를 건너뛰었는가”를 감사해야 한다. 다섯째, 도구 호출이나 외부 환경 상호작용이 업무의 본체다.

이 기준에서 웹 에이전트, 툴 사용 에이전트, 로보틱스는 후보군이 될 수 있다. 다만 논문에서 직접 평가된 환경은 Math와 Search로 확인된다. 실제 물리 로봇 안전성, 웹 에이전트의 프롬프트 인젝션 방어, 넓은 범위의 툴 사용 감사 가능성이 이 연구로 입증됐다고 보기는 어렵다. 관련 로보틱스 연구에서는 계약을 실행 가능한 모니터로 변환해 런타임 검증에 사용하는 접근이 보고됐다. 그러나 그것이 곧 Grounded Skill-Following의 실험적 검증 범위를 확장하는 증거는 아니다.

제품 설계상 trade-off

스킬 계약은 자유도를 줄인다. 이것은 장점이자 비용이다. 요구 단계, 허용 행동, 전이, 종료 조건을 명시하면 에이전트가 임의로 우회하기 어려워진다. 대신 계약을 잘못 쓰면 올바른 행동도 막을 수 있다. 계약에 빠진 예외 상황은 런타임에서 처리되지 않을 수 있다. 또한 계약을 작성할 전문가 시간이 필요하고, 계약 자체를 버전 관리하고 테스트해야 한다.

따라서 도입의 단위는 “전체 에이전트”가 아니라 “리스크가 큰 스킬”이어야 한다. 예를 들어 모든 검색 업무를 계약화하기보다, 출처 확인이 필요한 검색, 승인 전 변경이 금지된 도구 호출, 종료 조건이 중요한 장애 대응 절차부터 계약화하는 식이다. 이때 평가도 최종 성공률 하나로 합치면 안 된다. PCR과 최종 과업 성과를 함께 보고, 둘 중 무엇이 제품 실패와 더 가까운지 별도로 정해야 한다.

실무 의사결정 규칙은 간단하다. 절차 위반이 사용자 피해, 규정 위반, 비용 발생, 감사 실패로 이어지는 업무라면 스킬 계약형 에이전트를 검토한다. 단순히 답변 품질을 높이고 싶은 목적이라면 먼저 다른 평가·학습 방법과 비교한다. 이 접근의 강점은 “더 나은 답”을 보장하는 데 있지 않다. “허용된 방식으로 수행했는지”를 드러내고 강제하는 데 있다.

다음으로 읽기

• LLM 에이전트 HRL 전환 기준
• 정형 답변 모델의 결정값 보안 평가
• LogicTrack과 CoT 논리 감사
• SWE-Proof로 본 코드 에이전트 평가
• AI 인프라 투자 전력 리스크

참고 자료

• arxiv.org - arxiv.org
• Beyond Instruction Following: Learning Grounded Skill-Following with Skill Contracts - arxiv.org
• A compositional approach to verifying modular robotic systems - sciencedirect.com