 |
신규 플랫폼은 레드햇 AI 인퍼런스 서버, 오픈시프트 AI, 엔터프라이즈 리눅스 AI 등 기존 포트폴리오를 기반으로 구성된다.
레드햇은 관련 업데이트인 AI 3.3도 함께 발표하며 모델 운영, 하드웨어 지원, 관측 기능 등을 확대했다. 회사는 이를 통해 개별 파일럿 중심으로 진행되던 AI 프로젝트를 표준화된 엔터프라이즈 운영 체계로 전환하는 데 초점을 맞췄다.
플랫폼은 추론 최적화와 모델 튜닝, 에이전트 배포·관리 기능을 포함하며 쿠버네티스 기반 애플리케이션 플랫폼인 레드햇 오픈시프트 중심으로 설계됐다. 하이브리드 클라우드 환경에서 동일한 운영 방식을 유지하면서 보안과 확장성을 확보하는 구조다.
레드햇은 엔비디아와 공동으로 AI 팩토리 구성을 추진해 GPU 기반 인프라와 AI 소프트웨어 스택을 결합하는 방안도 제시했다.
기술적으로는 vLLM 기반 추론 엔진과 분산 추론 프레임워크를 적용해 다양한 하드웨어 환경에서 생성형 AI 모델 배포를 최적화하도록 했다. 라이프사이클 관리와 관측 기능을 통합해 모델 상태와 성능, 사용량을 실시간으로 확인할 수 있도록 했으며, 거버넌스와 운영 리스크 관리 기능도 포함됐다.
AI 3.3 업데이트에서는 모델 카탈로그를 통해 검증된 경량 모델을 제공하고 최신 대형 모델 배포를 지원한다. 멀티모달 처리 성능 개선, 추측 디코딩 기능 강화, 에이전트 워크플로우용 툴 호출 기능 확대 등 모델 실행 환경 개선도 포함됐다. 서비스형 모델(MaaS) 기술 프리뷰가 추가돼 조직 내부에서 API 기반으로 모델을 셀프서비스 형태로 활용할 수 있는 구조도 제시됐다.
하드웨어 측면에서는 CPU 기반 생성형 AI 지원을 시험적으로 도입해 소형 언어 모델 추론 비용 절감 가능성을 검토하고 GPU 인증 범위를 확대했다. AI 파이썬 인덱스를 통해 데이터·모델 관리 저장소를 제공하고, 학습·튜닝 도구를 통합해 반복 가능한 프로덕션 파이프라인 구성을 지원하는 기능도 포함됐다.
조 페르난데스 레드햇 AI 사업 부문 부사장 겸 총괄은 “AI가 비즈니스 환경에서 실질적 가치를 내기 위해서는 개별 프로젝트가 아니라 기업 소프트웨어 스택 일부로 운영돼야 한다”며 “신규 플랫폼은 인프라부터 모델과 에이전트까지 이어지는 통합 운영 환경을 제공하고 업데이트를 통해 반복 가능한 AI 운영 체계를 구현하도록 지원한다”고 말했다.
- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -
