API가 없는 레거시 소프트웨어를 AI로 자동화할 수 있을까요? (문제) Anthropic은 Computer Use 도구를 통해 Claude에게 눈(스크린샷 분석)과 손(마우스/키보드 제어)을 달아주었습니다. (해결책) 이제 Claude는 API 연동 없이도, 사람처럼 웹 브라우저를 열고, 엑셀을 켜고, 사내 ERP 시스템에 로그인하여 버튼을 클릭할 수 있습니다. (근거)

Computer Use의 기능

1. 시각적 인식 (Visual Grounding)

Claude는 화면 스크린샷을 실시간으로 분석하여 버튼의 좌표(x, y)를 찾아냅니다. "로그인 버튼 눌러줘"라고 말하면, 화면 어딘가에 있는 로그인 버튼을 정확히 식별합니다.

2. 정밀 제어 (Precise Control)

• mouse_move, left_click, double_click, type 등의 명령을 통해 섬세한 조작이 가능합니다.
• 드래그 앤 드롭, 스크롤 등 복잡한 상호작용도 지원합니다.

3. Bash Tool 연동

단순히 GUI만 쓰는 것이 아니라, 백그라운드에서 터미널(Bash)을 열어 필요한 패키지를 설치하거나 파일 시스템을 조작하는 하이브리드 작업도 가능합니다.

활용 사례

• RPA의 대체: 비싼 RPA 툴 없이도, Claude만으로 반복적인 데이터 입력 업무를 자동화할 수 있습니다.
• 소프트웨어 테스팅: QA 엔지니어처럼 앱을 실행하고, 버튼을 눌러보고, 에러가 뜨는지 확인하는 E2E 테스트를 수행합니다.

이 기술은 AI가 디지털 세상의 모든 소프트웨어를 인간과 동일한 방식으로 다룰 수 있게 됨을 의미합니다. 진정한 의미의 '범용 에이전트'가 탄생한 것입니다.