 |
개인용 AI가 클라우드 중심 구조에서 사용자 기기에서 직접 실행되는 형태로 진화하고 있다.
스탠포드대학교 연구진은 12일(현지시간) 개인 기기에서 완전히 실행되는 AI 에이전트 프레임워크 '오픈자비스(OpenJarvis)를 공개했다.
오픈자비스는 개인 AI 에이전트를 클라우드 서버가 아니라 사용자의 컴퓨터나 기기에서 직접 실행할 수 있도록 만들어졌다. 연구진은 개인용 AI를 연구하는 플랫폼이면서 실제 서비스에도 활용할 수 있는 기반 기술이 될 수 있다고 설명했다. 이는 최근 인기를 끈 '오픈클로(OpenClaw)'를 의식한 것으로 보인다.
현재 대부분의 개인 AI 서비스는 사용자의 기기에서 일부 기능만 처리하고, 실제 AI 모델은 외부 데이터센터에서 실행되는 방식으로 운영된다. 이 경우 응답 속도가 느려질 수 있고, 클라우드 사용 비용이 계속 발생하며, 개인 데이터가 외부 서버로 전송되는 문제도 생길 수 있다.
오픈자비스는 이러한 구조를 바꾸기 위해 개발됐다. 기본적으로 AI가 사용자의 기기에서 직접 실행되도록 하고, 꼭 필요한 경우에만 클라우드를 사용하는 방식을 목표로 한다.
연구진은 이전에 진행한 '와트당 지능(Intelligence Per Watt)' 연구에서 로컬 언어 모델과 로컬 AI 가속기가 88.7%의 경우에서 사용자의 체감 속도를 높였다는 결과를 얻었다고 밝혔다.
또 AI는 2023년부터 2025년 사이 효율성이 5.3배 향상된 것으로 나타났으며, 이는 개인 컴퓨터나 스마트 기기에서도 AI를 실행할 수 있는 환경이 빠르게 발전하고 있음을 보여준다고 설명했다.
 |
오픈자비스는 개인 AI 시스템을 만들기 위해 다섯가지 핵심 계층으로 설계됐다.
먼저 '인텔리전스(Intelligence)'는 로컬에서 실행되는 언어 모델을 말한다. 사용자가 필요한 성능을 지정하면 시스템이 컴퓨터의 성능에 맞는 AI 모델을 자동으로 선택한다. 여기에는 큐원과 젬마, 파이 등 0.5~9B 크기의 모델이 포함된다.
두번째는 '엔진(Engine)' 계층으로, AI 모델이 실제로 작동하며 추론을 수행하는 실행 환경이다. 올마(Ollama), vLLM, llama.cpp 같은 다양한 로컬 AI 실행 도구를 하나의 인터페이스에서 사용할 수 있다.
세번째는 '에이전트(Agents)' 계층이다. 이는 AI가 작업을 계획하고 수행하도록 돕는 구조다. 예를 들어 오케스트레이터 에이전트는 복잡한 일을 여러 단계로 나누고, 오퍼레이티브 에이전트는 반복적인 개인 업무를 처리하도록 설계됐다.
네번째는 '도구 및 메모리(Tools & Memory)'로, AI가 사용자 환경과 연결되는 부분이다. 문서를 검색하거나 파일을 읽고, 메시지 서비스와 연동하거나 다양한 도구를 사용할 수 있다. 이때 사용자 데이터는 기본적으로 개인 기기에 저장된다.
마지막은 '학습(Learning)' 계층으로, 사용자와의 상호작용 데이터를 활용해 모델과 에이전트를 지속적으로 개선하는 학습 구조다. 시스템은 사용 기록을 분석해 프롬프트, 에이전트 작동 방식, 모델 선택 등을 자동으로 최적화할 수 있다.
오픈자비스의 또 다른 특징은 AI 시스템을 평가할 때 효율성 지표를 중요한 기준으로 삼는다는 점이다. 대부분의 AI 프레임워크가 모델의 정확도 중심으로 성능을 평가하는 것과 달리, 에너지 소비와 연산량(FLOPs), 응답 지연 시간, 쿼리당 비용 등을 동시에 측정한다.
이를 위해 엔비디아 GPU, AMD GPU, 애플 실리콘 등 다양한 하드웨어에서 에너지 사용량을 추적할 수 있는 텔레메트리 시스템도 포함됐다.
명령줄 인터페이스(CLI), 브라우저 기반 대시보드, 데스크톱 앱 등 다양한 방식으로 사용할 수 있으며 맥OS·윈도우·리눅스 환경을 지원한다.
개인 기기에서 실행되는 AI 프레임워크 오픈자비스는 다양한 방식으로 활용할 수 있는 것이 특징이다. 개인 업무 자동화부터 연구 지원, 장기적인 작업 수행까지 여러 AI 활용 시나리오를 지원한다.
먼저 개인 AI 작업에서는 이메일 분류, 아침 브리핑, 일일 요약, 예약된 요약 보고 등 다양한 업무를 클라우드에 의존하지 않고 자동으로 실행할 수 있다. 또한 논문이나 메모가 저장된 폴더를 연결하면 이를 기반으로 질문에 답하거나 연구를 지원하는 로컬 지식 기반을 구축할 수 있다. 사용자는 i메시지, 텔레그램, 왓츠앱 등 기존 메시지 플랫폼과 연동해 AI와 상호작용할 수도 있다. 이 과정에서 개인 정보와 문서, 메시지, 사용자 설정 등 모든 데이터는 외부 서버로 전송되지 않고 사용자 기기에 저장된다.
전통적인 언어 모델 작업도 로컬 환경에서 수행할 수 있다. 사용자는 자유로운 대화뿐 아니라 수학·과학적 추론, 코드 생성, 지식 기반 질문 응답, 구조화된 데이터 생성 등 다양한 AI 기능을 활용할 수 있다. 또한 각 질의 처리 과정에서 사용된 에너지와 비용을 함께 측정할 수 있어 효율성 관리도 가능하다.
이와 함께 에이전트 기반 장기 작업도 지원한다. 스케줄러 기능을 활용하면 "매일 아침 7시에 일정 확인, 이메일 점검, 브리핑 준비"와 같은 자동화된 작업을 설정할 수 있다. 또 에이전트 프레임워크를 통해 코드 리뷰, 웹 리서치, 문서 처리 파이프라인 등 여러 단계로 구성된 복잡한 작업도 수행할 수 있다.
오픈자비스는 아파치 2.0 라이선스로 깃허브에 공개됐으며 연구자와 개발자들의 참여를 통해 확장될 예정이다.
박찬 기자 cpark@aitimes.com
<저작권자 copyright ⓒ ai타임스 무단전재 및 재배포 금지>
