 |
(사진=셔터스톡) |
엔비디아가 AI 산업의 무게중심이 '학습'에서 '추론(inference)'으로 이동하는 흐름에 맞춰 새로운 추론 전용 프로세서를 공개한다. 최근 영입한 그로크(Groq)의 인재를 중심으로, 급변하는 AI 칩 경쟁 구도에 전략적으로 대응하려는 의도다.
월스트리트 저널(WSJ)은 27일(현지시간) 정통한 소식통들을 인용, 엔비디아가 3월16~19일 미국 캘리포니아주 새너제이에서 열리는 'GTC' 개발자 컨퍼런스에서 새로운 '추론 컴퓨팅' 시스템을 공개할 예정이라고 보도했다.
이 플랫폼에는 스타트업 그로크가 설계한 칩이 통합될 것으로 전해졌다.
엔비디아는 지난해 말 그로크의 핵심 기술을 200억달러(약 28조원)에 라이선스하고 조너선 로스 창립자 등 주요 인력을 영입했다. 실리콘 밸리 사상 최대 규모의 '인재 인수(acqui-hire)' 가운데 하나로 평가된다.
그로크는 기존 GPU와 다른 'LPU(Language Processing Unit)' 아키텍처를 개발해 추론 작업에서 높은 효율을 구현한다. 엔비디아가 이 기술을 어떻게 제품군에 통합할지는 그동안 공개되지 않았으나, 이번 신형 플랫폼을 통해 전략이 드러날 전망이다.
그동안 엔비디아는 GPU 시장의 90% 이상을 장악하며 AI 모델 학습용 칩 시장을 사실상 독점해 왔다. 특히 호퍼(Hopper), 블랙웰(Blackwell), 루빈(Rubin) 시리즈는 초대형 AI 모델을 학습하는 데 최적화된 첨단 제품으로 평가받아 왔다.
그러나 최근 1년 사이 AI 산업의 수요는 모델 학습에서 실제 서비스 운영 단계인 추론으로 빠르게 이동하고 있다. 기업들이 AI 에이전트를 도입해 코드 작성, 고객 응대, 업무 자동화 등 실제 수익 창출에 나서면서, 대규모 연산보다는 빠르고 효율적인 응답 처리 능력이 더 중요해졌기 때문이다.
추론은 사용자의 질문을 해석하는 '프리필(pre-fill)' 단계와 단어를 하나씩 생성하며 답변을 만들어내는 '디코드(decode)' 단계로 나뉜다. 특히 대형 모델일수록 디코드 단계의 속도와 전력 효율이 핵심 경쟁력으로 떠오르고 있다.
오픈AI는 이번 신형 프로세서의 최대 고객 중 하나가 될 것으로 알려졌다. 오픈AI는 그동안 엔비디아의 최대 고객 가운데 하나였지만, 최근 수개월간 더 효율적인 대안을 물색해 왔다.
실제로 오픈AI는 최근 추론 특화 칩을 개발한 세레브라스와 수십억 달러 규모의 컴퓨팅 파트너십을 체결했으며, 아마존의 '트레이니엄(Trainium)' 칩도 도입하기로 했다. 아마존은 클라우드 자회사 아마존웹서비스(AWS)를 통해 자체 AI 칩을 공급하고 있다.
그럼에도 오픈AI는 최근 엔비디아와 '전용 추론 용량' 대규모 구매 계약을 체결하고, 전날에는 엔비디아로부터 300억달러(약 43조원) 규모의 투자를 유치했다. 이는 양사가 단순 고객-공급자를 넘어 전략적 동맹으로 강화되고 있음을 보여준다.
오픈AI는 코딩 도구인 '코덱스(Codex)' 성능 개선을 위해 이번 엔비디아 신형 시스템을 활용할 계획인 것으로 전해졌다. 기업용 AI 시장에서 코딩은 가장 수익성이 높은 분야 중 하나로 꼽힌다. 현재 시장 선두 주자는 앤트로픽의 '클로드 코드'로, 주로 구글 클라우드와 AWS 칩을 사용하고 있다.
AI 에이전트 확산으로 GPU의 비용과 전력 문제가 부각되며, 일부 고객들은 특정 워크로드를 CPU만으로 처리하는 방안을 검토하고 있다. 이에 엔비디아도 전략 변화를 모색 중이다.
엔비디아는 최근 메타와의 협력을 확대하며 광고 타겟팅 AI 에이전트를 지원하기 위해 처음으로 대규모 CPU 전용 배치를 발표했다. 이는 GPU 중심 전략에서 벗어나, AI 시장의 영역을 확대하려는 신호로 해석된다.
박찬 기자 cpark@aitimes.com
<저작권자 copyright ⓒ ai타임스 무단전재 및 재배포 금지>
