국방 계약서의 한 줄 문구가, AI 기업의 “안전”을 PR이 아니라 제품 기능으로 다루게 만드는 순간이 왔다. TechCrunch 발췌 보도에 따르면 Anthropic은 펜타곤(미 국방부)과의 계약을 AI 안전에 대한 이견으로 포기했고, 이후 OpenAI가 이를 가져갔다. 같은 발췌 보도에는 Anthropic CEO 다리오 아모데이가 OpenAI의 군 관련 계약 메시징을 “노골적인 거짓말(straight up lies)”이라고 비판했다는 내용도 포함된다. 이번 건의 쟁점은 “국방에서 AI를 쓰느냐”라기보다 “어떤 금지·통제 조항을 계약에 못 박느냐”에 가깝다.

세 줄 요약

• 핵심 이슈: Anthropic이 펜타곤 계약을 안전 이견으로 포기했고 OpenAI가 수주했다는 보도를 계기로, 국방 AI에서 ‘사용 제한’이 계약·운영에서 어떻게 강제되는지가 쟁점으로 떠올랐다.
• 왜 중요: 스니펫에서 반복 확인되는 가드레일은 미국 내 대규모 감시 목적 사용 금지, 완전 자율 무기(치명적 무력) 의사결정에 대한 인간 책임/감독이다(AP News 스니펫). 여기에 클라우드 한정 배포 같은 기술적 통제가 조건으로 거론됐다는 정리도 있다. 이 조합이 계약과 운영에서 유지되지 않으면 기업의 안전 원칙은 선언에 그칠 수 있다.
• 독자가 할 일: 국방·치안·안보 영역 고객을 상대한다면, 제안서/계약서/운영 설계에서 (1) 금지 목적 2개를 문장으로 고정하고 (2) 클라우드 한정 같은 배포 통제 1개를 기술로 증명하며 (3) 자율 프레임워크(NIST AI RMF, DoD RAI Toolkit)를 ‘계약 요건 체크리스트’로 번역해 갭을 줄여야 한다.

현황

TechCrunch 발췌에 따르면 Anthropic은 펜타곤과의 국방 관련 계약을 AI 안전에 대한 이견으로 포기했고, 이후 OpenAI가 계약을 가져간 것으로 전해졌다. 같은 보도에 따르면 Anthropic CEO 다리오 아모데이는 OpenAI가 군 관련 계약을 설명하는 방식이 “straight up lies”라고 비판했다. 다만 발췌만으로는 해당 계약의 정확한 계약명, 발주 조직, 범위(어떤 시스템에 어떤 방식으로 통합되는지)까지 확정하기 어렵다. 조달 문서나 추가 보도가 필요하다.

안전·사용 제한 조건은 조사 스니펫에서 일부가 반복 확인된다. AP News 스니펫 기준으로 Anthropic이 펜타곤에 요구한 “좁은 보장”은 크게 2가지다. 첫째, Claude가 **미국인에 대한 대규모 감시(mass surveillance of Americans)**에 쓰이지 않을 것. 둘째, **완전 자율 무기(fully autonomous weapons)**에 쓰이지 않을 것(치명적 무력 사용 의사결정에서 인간 책임/감독을 전제). 여기에 조사 결과 요약에는 OpenAI 측 합의/조건 설명으로 모델을 드론·항공기 같은 엣지에 두지 않고 클라우드에 한정하는 배포 통제가 포함된 것으로 “보도됐다”는 정리가 붙는다. 이 역시 조항 단위로는 추가 확인이 필요하다.

한편 정부·국방 영역에는 “프레임워크”도 있다. DoD CDAO가 배포한 Responsible AI(RAI) Toolkit은 보도자료에서 **“voluntary process(자율적 절차)”**라고 명시한다. NIST AI RMF도 표준이라기보다 위험 관리 프레임워크로 제공된다. NIST는 2024-07-26에 “NIST-AI-600-1(Generative AI Profile)”을 공개했다고 적는다. GAO 보고서는 DoD가 AI 획득을 안내할 부처 전반 가이던스가 더 필요하다고 지적한다. 또 GAO가 4개 권고를 냈고 DoD가 권고에 동의했다고 요약한다. 요지는 단순하다. 자율 프레임워크만으로는 집행력이 제한될 수 있다. 계약 조항과 납품·운영 요건으로 번역될 때 강해진다.

분석

이번 공방이 중요한 이유는 국방 AI의 리스크가 ‘모델 성능’만의 문제가 아니라 ‘사용 범위와 통제’로 이동하고 있기 때문이다. 대규모 감시 금지, 완전 자율살상무기 금지에 준하는 인간 감독 같은 조건은 구호로 남기 쉽다. 계약에 들어가면 요구 사항이 된다. 금지 목적을 문장으로 고정하면 영업 범위는 좁아질 수 있다. 대신 운영 리스크와 평판 리스크를 줄이는 선택지가 된다. 반대로 “모든 합법적 목적” 같은 넓은 사용 범위를 요구받으면 기업 정책은 현실과 충돌할 수 있다(이번 조사 요약에서도 이런 충돌이 사례로 언급된다). 이때 기업은 계약을 포기하거나, 가드레일을 유지하는 방식으로 정합을 맞추려 한다.

동시에 한계도 남는다. 첫째, 지금 공개 스니펫만으로는 로그/감사(immutable audit trail), 레드팀, human-in-the-loop의 구체 절차 같은 운영 통제를 조항 수준에서 확인하기 어렵다(조사 결과에서도 “확인되지 않음”으로 명시된다). 둘째, 클라우드 한정 같은 통제도 정책 문장만으로는 부족하다. 시스템 설계가 따라야 한다. 네트워크 분리, 접근통제, 권한 승인 흐름, 키 관리, 데이터 보존/파기 같은 디테일이 빠지면 통제는 약해진다. 셋째, 기업 간 메시지 공방(“거짓말” 공방)은 사실관계 확인에 도움을 주지 않을 수 있다. 이럴수록 독자는 PR이 아니라 계약 언어 + 운영 증빙을 요구해야 한다.

실전 적용

국방·치안·정보보안 분야는 “안전”을 윤리 강령이 아니라 납품 사양으로 다룬다. 기업이 할 일은 정리된다. 금지(Policy)–통제(Control)–증빙(Evidence) 3단을 만들고, 계약서/제안서/운영 문서에 같은 의미로 반복 삽입해야 한다. 예를 들어 “대규모 감시 목적 사용 금지”는 조항으로만 두지 않는다. 제품에서 해당 워크플로를 막는 권한·승인·감사 흐름까지 포함한다. “완전 자율 무기 금지”도 같다. 인간 감독을 요구한다면 무엇을 인간이 승인하는지(요청, 출력, 실행)를 정한다. 승인 기록을 어떻게 남기는지도 운영 설계로 고정한다.

예: 어떤 조직이 민감한 임무에 모델을 쓰려 한다. 공급사는 금지된 사용 목적을 계약에 넣는다. 승인된 사용자만 접근하도록 막는다. 특정 유형의 요청은 거부하도록 만든다. 운영 중 문제가 생기면 누가 어떤 근거로 차단했는지 기록해 사후 다툼을 줄인다.

오늘 바로 할 일 체크리스트:

• 계약서/제안서에 **“미국 내 대규모 감시 목적 사용 금지”**와 **“완전 자율 무력 사용 의사결정에 인간 책임/감독”**을 금지·제한 조항으로 넣고, 예외 문구를 최소화하라.
• 배포 아키텍처에서 **클라우드 한정(또는 동등 수준의 중앙 통제)**을 기술 요건으로 정의하고, 예외(현장 단절·오프라인 요구)가 생길 때 대체 통제를 문서로 준비하라.
• NIST AI RMF와 DoD RAI Toolkit을 참고로만 두지 말고, 내부 리뷰 항목(위험 식별–완화–검증–운영 모니터링)으로 쪼개 계약 납품 산출물에 매핑하라.

FAQ

Q1. 국방 AI 계약에서 지금까지 확인되는 ‘핵심 안전 조건’은 무엇인가?
A1. 이번 조사 스니펫 기준으로 반복 확인되는 축은 2가지입니다. 미국 내 대규모 감시 목적 사용 금지와 완전 자율 무기(치명적 무력) 의사결정에서 인간 책임/감독입니다(AP News 스니펫). 여기에 “클라우드 한정 배포” 같은 기술적 통제가 조건으로 거론됐다는 정리도 있으나, 조항 단위 확정은 추가 확인이 필요합니다.

Q2. NIST AI RMF나 DoD RAI Toolkit이 있으면 계약 리스크가 줄어드나?
A2. 일부만 줄어듭니다. DoD RAI Toolkit은 자료 자체가 **voluntary(자율)**라고 밝힙니다. NIST AI RMF도 프레임워크입니다. 집행력은 결국 계약 조항과 납품·운영 요건으로 번역될 때 생깁니다.

Q3. 기업 안전 정책과 ‘군의 lawful use 요구’가 충돌하면 어떻게 되나?
A3. 조사 요약 기준으로 선택지는 두 갈래로 정리됩니다. 하나는 Anthropic 사례처럼 계약을 포기하는 길입니다(TechCrunch 발췌의 서술). 다른 하나는 OpenAI 사례 보도처럼 가드레일을 유지하는 조건으로 정합을 시도하는 길입니다. 어느 쪽이든 정책 문장만으로는 부족하고, 통제와 증빙을 계약에 붙여야 합니다.

결론

이번 이슈의 초점은 “누가 국방 계약을 따냈나”가 아니다. 대규모 감시와 완전 자율 무력 사용을 계약과 기술로 어디까지 막을 수 있나다. 다음으로 확인할 대상은 공방의 수위가 아니라, 실제 조달 문서·운영 요구사항에서 금지·통제·감사가 얼마나 구체적으로 들어갔는지다.

다음으로 읽기

• AI 자동화, 고용·에너지·이전재정의 충돌
• 전장 작전계획 AI와 통제의 설계
• AI 성능과 생산성 시차 줄이기
• 대화형 AI의 친밀감 설계와 신뢰
• LLM 운영 안정성 평가 체크리스트

참고 자료

• Trump orders all US agencies to stop using Anthropic's AI | AP News - apnews.com
• CDAO Releases Responsible AI (RAI) Toolkit for Ensuring Alignment With RAI Best Practices - war.gov
• AI Risk Management Framework | NIST - nist.gov
• Artificial Intelligence: DOD Needs Department-Wide Guidance to Inform Acquisitions | U.S. GAO - gao.gov
• techcrunch.com - techcrunch.com