2025년은 원문 발췌에서 “Year of Agentic AI”로 불릴 만큼 에이전트형 AI의 배치가 빨라진 해로 언급된다. 문제는 여기서 시작된다. 생성형 AI가 답을 내놓는 수준을 넘어서, 에이전트형 AI는 스스로 계획을 세우고 도구를 호출하며 외부 시스템에 행동을 남길 수 있다. 그래서 거버넌스의 질문도 바뀐다. “이 모델이 무엇을 말했나”에서 “이 시스템이 왜 그렇게 행동했고, 누가 멈출 수 있나”로 이동한다.

세 줄 요약

• 에이전트형 AI 거버넌스의 핵심은 생성형 AI의 출력 통제를 넘어, 자율적 계획·도구 호출·외부 실행까지 감독하는 규칙을 세우는 데 있다.
• 이 문제가 중요한 이유는 자율성 수준이 높아질수록 오류가 단순한 오답이 아니라 실제 행동으로 이어질 수 있어서다. OECD는 자율성을 no-action, low-action, medium-action, high-action autonomy로 나눈다.
• 독자는 에이전트 도입 전 “자율성 등급, 인간 개입 지점, 감사 로그, 중지·되돌리기 수단” 4가지를 한 장 문서로 먼저 점검하라.

현황

에이전트형 AI를 둘러싼 논의는 “생성형 AI의 다음 단계”라는 마케팅 문구보다 더 구체적인 쟁점으로 이동했다. 조사 결과에 따르면 OECD는 AI 시스템의 자율성을 no-action, low-action, medium-action, high-action autonomy의 4단계로 구분한다. 이 구분은 감독 강도를 정하는 기준으로 쓰일 수 있다. 특히 high-action autonomy는 인간 개입 없이 행동할 수 있어 정책적 검토 범위가 커진다.

법과 집행 체계도 위험기반 접근으로 움직이고 있다. EU AI Act 관련 자료에 따르면 건강, 안전, 기본권에 심각한 위험을 줄 수 있는 사용례는 high-risk로 분류된다. 또 EU 집행 구조에서는 AI Office가 AI Act의 시행과 집행을 감독하고, 강력한 AI 모델에 대한 감독 책임도 맡는다. 에이전트형 AI만을 위한 단일 국제 규칙이 확립됐다고 보기는 어렵다. 다만 “자율성 수준 + 사용 맥락의 위험도 + 감독 능력”을 함께 보려는 흐름은 확인된다.

분석

그렇다고 새 법 하나로 정리될 문제로 보기도 어렵다. 조사 결과만 보면 기존 생성형 AI 규제의 핵심 원칙인 위험관리, 투명성, 책임성은 여전히 유효하다. 다만 에이전트형 시스템은 도구 사용과 자율적 계획이 포함되므로, 같은 원칙을 운영 수준으로 더 구체화해야 한다. 예를 들어 “설명 가능해야 한다”는 원칙은 에이전트에서는 “근거 문서와 최종 행동을 연결한 로그가 남는가”라는 질문으로 바뀐다. “인간 감독”도 추상적 선언이 아니라 승인 지점, 중단 버튼, 사후 검토 권한으로 나눠 설계해야 한다. 한계도 있다. 조사 결과에서는 에이전트형 AI 전용 단일 국제 표준이나 최소 로그 필드 목록까지는 확인되지 않았다. 지금 단계의 과제는 완성된 정답을 기다리기보다, 위험이 큰 업무부터 통제 가능한 구조로 좁혀 도입하는 일이다.

실전 적용

조직이 에이전트형 AI를 검토한다면 첫 질문은 “얼마나 똑똑한가”가 아니라 “얼마나 혼자 움직이게 둘 것인가”여야 한다. OECD의 4단계 자율성 분류를 내부 점검표의 출발점으로 쓰면 좋다. 여기에 업무 위험도와 감독 인력을 함께 붙이면 기준이 더 실무에 가까워진다. 고객 환불, 계약 수정, 규제 보고, 인사 판단처럼 외부 효과가 큰 작업은 high-action autonomy에 가까워질수록 사람 승인 단계를 넣는 편이 낫다.

감사가능성은 나중에 붙이는 기능이 아니다. 처음부터 설계해야 한다. NIST 자료가 말하듯 의사결정, 도구 호출, 외부 실행, 근거 문서를 구조화된 로그로 묶어야 사후 책임 추적이 가능하다. 로그가 흩어져 있으면 모니터링도 약해진다. NIST는 배포된 AI 시스템 모니터링의 문제로 fragmented logging across distributed infrastructure를 지적했다. 에이전트가 여러 API, SaaS, 내부 시스템을 넘나들수록 이 문제는 더 커진다.

오늘 바로 할 일 체크리스트 3개

• 현재 검토 중인 AI 기능을 no-action, low-action, medium-action, high-action autonomy 중 어디에 놓을지 팀이 먼저 합의하라.
• 에이전트가 호출할 수 있는 도구 목록과 각 도구의 승인 조건, 중지 조건, 되돌리기 가능 여부를 한 문서로 정리하라.
• 최종 출력뿐 아니라 모델 선택, 도구 호출, 외부 실행, 근거 문서를 함께 남기는 로그 설계를 제품 요구사항에 넣어라.

FAQ

Q. 에이전트형 AI는 기존 챗봇과 뭐가 다른가요?

에이전트형 AI는 답변을 생성하는 데서 멈추지 않고, 스스로 계획을 세우거나 도구를 호출하거나 외부 시스템에서 행동할 수 있다는 점이 다릅니다. 그래서 평가 기준도 응답 품질만이 아니라 실행 통제와 감독 체계까지 포함해야 합니다.

Q. 기존 생성형 AI 규제로도 충분한가요?

조사 결과만 보면 충분하다고 단정하기는 어렵습니다. 위험관리, 투명성, 책임성 같은 기본 원칙은 그대로 쓰이지만, 에이전트형 시스템에는 자율성 수준, 도구 사용, 자동 실행, 중지·되돌리기, 감사 추적 같은 운영 조항이 더 중요해집니다.

Q. 가장 먼저 점검해야 할 거버넌스 항목은 무엇인가요?

첫째는 자율성 수준입니다. 둘째는 인간이 어디서 개입하고 중단할 수 있는지입니다. 셋째는 의사결정과 실행 과정을 로그로 남길 수 있는지입니다. 이 세 가지가 없으면 책임성과 사후 대응이 약해집니다.

결론

에이전트형 AI 거버넌스의 핵심은 모델의 말보다 시스템의 행동을 다루는 데 있다. 자율성 분류, 위험기반 감독, 구조화된 감사 로그는 앞으로 기본 요소로 자리 잡을 가능성이 크다. 조직은 이 세 가지를 제품 설계 초반부터 붙여야 한다.

다음으로 읽기

• AI 자료 모음 (24h) - 2026-07-09
• 형태 바뀌는 소프트팔 제어
• 규칙이 바꾸는 에이전트 안전
• Gimitest로 보는 RL 실패 탐지
• 공정 문서로 시계열 의미 주입

참고 자료

• OECD Framework for the Classification of AI Systems - oecd.org
• AI Act | Shaping Europe’s digital future - digital-strategy.ec.europa.eu
• Governance and enforcement of the AI Act | Shaping Europe’s digital future - digital-strategy.ec.europa.eu
• Building Evaluation Probes into Agentic AI | NIST - nist.gov
• National Online Informative References Program | CSRC - csrc.nist.gov
• AI in regulatory design and delivery: Governing with Artificial Intelligence | OECD - oecd.org
• Advancing Accountability in AI | OECD - oecd.org
• New Report: Challenges to the Monitoring of Deployed AI Systems | NIST - nist.gov
• The agentic AI landscape and its conceptual foundations | OECD - oecd.org
• Digital governments at a turning point: Digital Government Outlook 2026 | OECD - oecd.org
• Artificial Intelligence Risk Management Framework (AI RMF 1.0) | NIST - nist.gov
• How are AI agents addressed within the AI Act? | AI Act Service Desk - ai-act-service-desk.ec.europa.eu
• arxiv.org - arxiv.org