AI 추론 비용 최대 1/10로 낮춘다… 오픈소스 분산 추론 프로젝트 'llm-d 1.0' 공개
AI 에이전트의 활용이 본격화되면서 대형언어모델(LLM)의 성능만큼이나 ‘추론 비용’과 ‘운영 효율성’이 기업 AI 경쟁력의 핵심 과제로 떠오르고 있습니다. 이에 IBM, 레드햇, 구글 클라우드, 엔비디아 등이 공동으로 참여한 오픈소스 분산 추론 프로젝트 'llm-d 1.0'이 정식 공개되었습니다.
💡 주요 핵심 내용
비용 최대 10배 절감
실증 테스트 결과 에이전트 작업의 토큰당 추론 비용을 상용 API 대비 최대 1/5 ~ 1/10 수준으로 대폭 절감했습니다.
3,000개 에이전트 동시 처리
7,530억 매개변수 MoE 모델 환경에서 중단 없이 3,000개 에이전트를 가동, 분당 660만 토큰 출력을 기록했습니다.
연구 사례 (11.5배 절감)
IBM 연구진은 양자 오류 정정 연구에 적용하여 독점형 솔루션 대비 추론 비용을 11.5배 낮췄습니다.
❓ 왜 'llm-d'가 필요한가? (AI 에이전트 시대의 인프라 과제)
- 컴퓨팅 자원 소모 증가: AI 에이전트는 단발성 질문 응답을 넘어 여러 단계를 거치며 문맥을 반복 참조하므로 자원 소모가 매우 큽니다.
- 분산 처리를 통한 효율 극대화: 요청 폭주 시 지연 시간 증가와 비용 상승 문제를 해결하기 위해, 여러 컴퓨팅 자원에 추론을 분산시켜 기존 인프라 활용도를 최대로 끌어올립니다.
⚙️ 주요 기술적 특징
- 접두부 캐시 (Prefix Cache) 활용: 공통으로 사용되는 문맥을 재계산 없이 재사용하여 연산 부담을 줄입니다. (IBM 연구 기준 캐시 적중률 약 98%)
- 프리필(Prefill)과 디코드(Decode) 분리: 입력 문맥 처리와 토큰 생성 작업을 최적화된 자원에 각각 분리 배치하여 효율을 극대화합니다.
- 유연한 생태계 지원: 특정 클라우드나 GPU에 종속되지 않으며, 구글 클라우드(GKE), 엔비디아, AMD, 디지털오션, 제트브레인스(JetBrains) 등으로 생태계가 빠르게 확장되고 있습니다.
