 |
(사진=앤트로픽) |
AI가 개발 업무를 직접 수행하는 '자율 에이전트'로 발전하는 가운데, 이제는 스스로 행동의 위험성을 판단하는 단계까지 진화하고 있다.
앤트로픽은 24일(현지시간) 개발자용 AI 도구 '클로드 코드'에 새로운 권한 관리 기능인 '오토 모드(Auto Mode)'를 도입한다고 밝혔다.
이번 기능은 현재 팀 요금제에서 연구 프리뷰 형태로 제공되며, 앞으로 엔터프라이즈와 API 사용자로 확대될 예정이다.
오토 모드는 기존의 보수적인 권한 체계와 완전 자율 실행 사이의 '중간 지점'을 지향한다. 기존 클로드 코드는 파일 수정이나 터미널 명령 실행 등 모든 주요 작업마다 사용자 승인을 요구해 안전성을 확보했지만, 장시간 작업을 자동으로 수행하기에는 비효율적이라는 한계가 있었다.
반대로 모든 권한 검사를 생략하는 '--dangerously-skip-permissions' 옵션은 편리하지만, 잘못된 명령 실행이나 데이터 손실 같은 위험이 컸다.
이번에 도입된 오토 모드는 이러한 문제를 해결하기 위해 각 작업 실행 전에 AI 기반 분류기를 통해 위험도를 평가하는 방식을 채택했다.
시스템은 대량 파일 삭제, 민감 데이터 유출, 악성 코드 실행 등 잠재적으로 위험한 행동을 사전에 감지해 차단한다. 반면, 안전하다고 판단된 작업은 자동으로 실행되며, 반복적으로 차단되는 작업에 대해서만 사용자에게 최종 승인 요청을 보내는 구조다.
앤트로픽은 이 기능이 개발자의 '개입 피로'를 줄이면서도 일정 수준의 통제를 유지할 수 있도록 설계됐다고 설명했다. 다만 완전한 안전을 보장하지는 않으며, 여전히 샌드박스와 같은 격리된 환경에서 사용하는 것을 권장하고 있다.
실제로 AI가 맥락을 충분히 이해하지 못할 경우 위험한 작업을 허용하거나, 반대로 정상적인 작업을 차단하는 사례도 발생할 수 있다. 또 추가적인 검증 과정으로 인해 토큰 사용량과 비용, 지연 시간이 소폭 증가할 수 있다.
이번 기능은 '클로드 소네트 4.6'과 '오퍼스 4.6'에서 작동하며, CLI 환경에서는 'claude --enable-auto-mode' 명령어로 활성화할 수 있다. 데스크톱 및 VS 코드(VS Code) 확장에서는 설정 메뉴를 통해 선택적으로 사용할 수 있으며, 조직 관리자는 정책 설정을 통해 기능을 비활성화할 수도 있다.
전문가들은 이번 업데이트를 AI가 인간의 승인 없이 점점 더 많은 작업을 수행하는 흐름의 연장선으로 보고 있다. 실제로 오픈AI와 깃허브 등 주요 기업들도 개발 작업을 자동으로 수행하는 에이전트형 도구를 강화하고 있다. 다만 이러한 자율성 확대는 생산성 향상과 동시에 예측 불가능성과 보안 리스크라는 과제를 안고 있다.
앤트로픽도 오토 모드를 통해 균형점을 찾으려는 것으로 볼 수 있다. 사용자의 의도를 벗어난 행동이나 프롬프트 인젝션 공격을 탐지하는 안전장치를 추가하면서, 동시에 개발자가 반복적인 승인 과정에서 벗어나도록 돕겠다는 전략이다.
한편, 앤트로픽은 최근 자동 코드 리뷰 기능 '클로드 코드 리뷰(Claude Code Review)'와 AI 에이전트 작업 위임 기능 '디스패치(Dispatch)' 등을 연이어 선보이며, 개발자 업무 전반을 자동화하는 방향으로 제품군을 확장하고 있다.
박찬 기자 cpark@aitimes.com
<저작권자 copyright ⓒ ai타임스 무단전재 및 재배포 금지>
