Agent-G²를 쓸지 말지는 “힌트 깊이를 누가 정하느냐”의 문제다

Agent-G²의 실용적 신호는 비교적 분명하다. 장기 에이전트 강화학습에서 전문가 궤적의 앞부분을 붙여 보상 희소성을 완화하고 있다면, guidance depth를 하나의 고정값이나 전체 샘플에 공유되는 스케줄로 두는 방식은 과제별 난이도 차이를 반영하기 어렵다. Agent-G²는 이 깊이를 과제별 확률분포로 다룬다. 또 추가 probe rollout 없이 기존 rollout 통계로 조정한다고 보고됐다. 따라서 의사결정 기준은 “성능을 조금 더 얻기 위해 별도 probing 비용을 낼 수 있는가”만이 아니다. 먼저 “현재 방식이 샘플별 이질성을 반영하지 못해 실패하고 있는가”를 봐야 한다.

이 글의 독자는 LLM 기반 에이전트나 장기 과제 RL 파이프라인을 운영하면서, 전문가 궤적 prefix를 얼마나 유지할지 정해야 하는 연구자·엔지니어다. 결론부터 말하면 ALFWorld와 WebShop류의 장기·희소보상 에이전트 학습에서는 Agent-G²를 scheduled guidance의 대안으로 검토할 근거가 있다. 다만 per-sample probing 계열 전체를 대체한다고 보면 안 된다. WebShop 7B 설정에서는 가장 강한 probe 기반 baseline인 Enumeration보다 우수하지 않았다는 보고가 있기 때문이다.

왜 guidance depth가 병목이 되는가

힌트 기반 강화학습의 기본 아이디어는 단순하다. 매 rollout 전에 전문가 궤적의 prefix를 유지해 정책이 성공에 더 가까운 상태에서 탐색하게 만든다. 장기 과제에서는 처음부터 탐색하면 보상이 드물어 학습 신호가 약해진다. 전문가 궤적 일부를 쓰면 탐색 공간이 줄고, 정책은 뒤쪽 의사결정부터 배울 수 있다.

문제는 얼마나 많이 남길지다. prefix가 너무 길면 에이전트가 이미 쉬워진 상태에서만 행동한다. 실제 초기 상태에서 문제를 푸는 능력은 늦게 생긴다. 반대로 너무 짧으면 원래의 희소보상 문제가 다시 나타난다. 즉 guidance depth는 “성공에 가까운 상태를 제공하는 이득”과 “스스로 해결해야 할 구간을 남기는 이득” 사이의 조절변수다.

기존 scheduled guidance는 이 값을 전체 샘플에 공유되는 결정론적 스칼라로 다룬다. 하지만 같은 배치 안에도 쉬운 과제와 어려운 과제가 섞인다. 쉬운 과제에는 힌트를 빨리 줄여야 하고, 어려운 과제에는 더 오래 유지해야 할 수 있다. 하나의 스케줄은 이 차이를 표현하지 못한다.

Agent-G²의 핵심: 깊이를 값이 아니라 분포로 둔다

Agent-G²는 guidance depth를 과제별 guidance ratio의 가우시안 분포로 모델링한다. 각 과제는 자기 클러스터에 해당하는 분포에서 ratio를 독립적으로 샘플링하고, 이 ratio를 전문가 궤적 prefix 길이로 변환한다.

평균은 두 층의 신호로 정해진다. 하나는 전체 배치 성공률에 따라 갱신되는 전역 기준이다. 다른 하나는 클러스터별 성공 수준을 반영한 보정이다. 즉 전체 학습이 어느 정도 진행됐는지와 특정 과제군이 얼마나 잘 풀리는지를 함께 본다.

표준편차는 클러스터 내부 성공률 분산이 클수록 넓어진다. 한 클러스터 안에서도 성공 양상이 들쭉날쭉하면 guidance depth를 더 넓은 범위에서 샘플링해 탐색 폭을 넓힌다. 반대로 비교적 균질하면 깊이 선택도 좁아진다.

구현상 장점은 별도 probe rollout을 요구하지 않는다는 점이다. Agent-G²는 정책 최적화에 이미 수집된 rollout으로 중심과 spread를 온라인 추정한다고 보고됐다. 샘플별로 guidance를 조정하되, probing 방식처럼 후보 깊이를 시험하기 위한 추가 rollout 비용을 전제로 하지 않는다.

성능 근거는 어디까지인가

보고된 비교에서 Agent-G²는 scheduled guidance 대비 ALFWorld와 WebShop에서 개선을 보였다. ALFWorld에서는 1.5B 설정에서 95.3%, 7B 설정에서 98.4%에 도달했으며, 가장 강한 probe 기반 baseline인 Enumeration 대비 각각 +9.3, +2.3으로 보고됐다.

WebShop에서는 두 모델 규모에서 가장 강한 non-probing 방법으로 보고됐다. 다만 per-sample probing 대비 해석은 조심해야 한다. WebShop 1.5B 설정에서는 개선이 확인되지만, WebShop 7B 설정에서는 Enumeration보다 우수하지 않았다. 따라서 Agent-G²의 검증된 강점은 “scheduled guidance보다 과제별 이질성을 더 잘 반영하는 non-probing guidance”에 가깝다. “항상 probe 기반 방식보다 낫다”는 결론은 현재 근거로는 지나치다.

이 차이는 제품·연구 의사결정에 직접 영향을 준다. rollout 비용이 비싸거나 실험 예산이 제한된 환경에서는 non-probing의 이점이 크다. 반면 특정 벤치마크와 대형 설정에서 최고 성능만 필요하고 probe rollout 비용을 감당할 수 있다면, Enumeration 같은 per-sample probing baseline을 함께 비교해야 한다.

적용 결정을 위한 규칙

Agent-G²를 우선 검토할 조건은 세 가지다.

첫째, 과제가 장기 horizon이고 보상이 희소해야 한다. Agent-G²가 다루는 문제 자체가 전문가 궤적 prefix로 탐색을 완화하는 설정이다. 이미 dense reward나 짧은 horizon에서 학습이 안정적이라면 guidance depth 최적화가 주 병목이라는 근거가 약하다.

둘째, 전문가 궤적 prefix를 rollout 전에 유지할 수 있어야 한다. ALFWorld와 WebShop 같은 에이전트 환경에서는 이 전제가 비교적 자연스럽지만, 모든 도메인에서 가능한 것은 아니다.

셋째, 현재 scheduled guidance가 샘플별 난이도 차이를 무시하고 있다는 징후가 있어야 한다. 예를 들어 일부 과제군은 힌트를 줄여도 성공하지만 다른 과제군은 같은 깊이에서 계속 실패한다면, 단일 depth 스케줄보다 분포 기반 조정이 더 적절할 수 있다.

반대로 다음 상황에서는 보류가 낫다. 실제 로봇 환경에 바로 적용하려는 경우다. 전문가 시연이 장기·희소보상 로보틱스 과제 탐색에 도움이 된다는 별도 선행 근거는 있지만, Agent-G²의 Gaussian guidance depth가 실제 로봇이나 로보틱스 벤치마크에서 검증됐다는 정보는 확인되지 않았다. 물리 로봇에서 전문가 궤적 prefix 상태로 정확히 재설정할 수 있는지도 별도 문제다.

따라서 실무적 결정은 이렇게 정리된다. LLM 기반 장기 에이전트에서 이미 힌트 기반 RL을 쓰고 있고, scheduled depth가 과제군별 실패를 설명하지 못한다면 Agent-G²를 non-probing 대안으로 실험하라. 단, 비교군은 단순 스케줄만으로 끝내지 말고 가능한 경우 Enumeration 같은 probe 기반 방법도 포함해야 한다. Agent-G²의 현재 가치는 “추가 probing 없이 샘플별 guidance를 근사하는 방법”이지, 모든 per-sample 선택 전략의 상위호환이라고 단정할 수는 없다.

다음으로 읽기

• 코드 에이전트 평가의 기능과 보안
• 장기 자율 에이전트 하네스 평가법
• 항공 진단 AI의 병목 제거 관점
• MLREF로 보상 모듈을 재사용하는 법
• 저자원 언어 안전과 LSR 앵커링

참고 자료

• Paper page - Agent-G²: Gaussian Guidance for Agentic Reinforcement Learning - huggingface.co
• Agent-G²: Gaussian Guidance for Agentic Reinforcement Learning - arxiv.org
• Agent-G²: Gaussian Guidance for Agentic Reinforcement Learning - arxiv.org
• Overcoming Exploration in Reinforcement Learning with Demonstrations - arxiv.org
• arxiv.org - arxiv.org