챗봇에서 에이전트로의 전환이 촉발한 전력 위기
과거 생성형 AI 서비스가 단일 프롬프트를 입력받아 한 번의 응답을 돌려주는 챗봇 형태였다면, 현재 프론티어 AI 연구실과 빅테크 기업들의 핵심축은 AI 에이전트(AI Agents)로 이동했습니다. AI 에이전트는 사용자의 질문 하나에 기반하여 수십에서 수백 개의 하위 프롬프트를 스스로 생성하고, 웹페이지 구축이나 복잡한 데이터셋 처리와 같은 과업을 수행하기 위해 수 시간 동안 자율적으로 연산을 지속합니다.
이러한 에이전트 중심의 패러다임 변화는 데이터센터의 에너지 소모량을 비약적으로 증가시키는 주원인으로 지목받고 있습니다. 실제로 오픈AI가 10,000개 이상의 에이전트 군집을 활용해 270만 개의 메시지를 주고받으며 수학 난제를 해결했을 때, 엄청난 규모의 컴퓨팅 연산과 막대한 전력이 소모된 것으로 나타났습니다. 메타(Meta) 역시 전 세계 수십억 명을 대상으로 백그라운드에서 상시 작동하는 개인용 AI 에이전트 '뮤즈(Muse)'를 발표하는 등, 에이전트의 확산은 인프라 전력망에 전례 없는 압박을 가하고 있습니다.
"다른 기술 성장 영역에서는 얼마나 많은 사람이 자동차를 운전하거나 넷플릭스를 스트리밍하는지와 같은 인간 사용자 수에 의해 확장이 제한되었습니다. 하지만 이제 이 영역은 사용자 수와의 직접적인 연결이 끊어졌습니다." — 보리스 가마자이치코프(Boris Gamazaychikov), Sustainable AI Group 공동 설립자 겸 CEO
---
단일 질의 대비 폭증하는 에이전트의 에너지 소비
AI 기업들은 그동안 개별 사용자의 단일 쿼리가 소모하는 자원을 내세워 전력 소비 논란을 방어해 왔습니다. 그러나 복합적인 문제 해결을 위해 병렬 헬퍼 에이전트를 가동하고 장시간 코딩 작업을 수행하는 최신 에이전트 워크로드는 기존 챗봇 쿼리와는 차원이 다른 전력을 요구합니다.
- 사용자 단일 목표 입력
- 하위 과업 자동 분할 및 프롬프트 자체 생성
- 다중 에이전트 병렬 연산 및 장시간 실행
- 실시간 결과 취합 및 배포
기후학자 지크 하우스파더(Zeke Hausfather)의 분석에 따르면, 에이전트 도구를 집중적으로 사용하는 일일 클로드(Claude) 세션의 전력 소비량은 냉장고 2대를 상시 가동하는 에너지에 달하는 것으로 나타났습니다. 메타가 추진하는 루이지애나주 하이페리온(Hyperion) 프로젝트처럼 10개의 천연가스 발전소를 기반으로 전력을 공급받아야 할 만큼 대형 데이터센터 건설 붐이 일어나는 배경에는 이러한 에이전트 중심 인프라 확장이 자리 잡고 있습니다. 차세대 에너지원으로 소형 모듈 원자로(SMR)가 논의되고 있으나 상용화까지 수년이 소요되므로, 빅테크 기업들은 당장 가용한 가스 터빈을 설치하며 즉각적인 전력 확보에 매달리는 형국입니다.
---
전력 한계를 돌파하는 엔비디아 DSX 아키텍처
전력 공급선 신설에 10년 가까운 시간이 걸리는 물리적 한계 속에서, 엔비디아(NVIDIA)는 데이터센터의 전력 예산을 동적으로 관리해 단위 전력당 토큰 생산량을 극대화하는 엔비디아 DSX(NVIDIA DSX) 플랫폼을 제시했습니다. AI 팩토리 환경에서는 더 이상 개별 하드웨어 부품 최적화만으로는 한계를 넘을 수 없으며, 전력 공급과 쿨링, 소프트웨어 오케스트레이션을 포괄하는 공장 전체 단위의 설계가 필수적입니다.
엔비디아 젠슨 황(Jensen Huang) CEO가 "1기가와트 공장은 결코 2기가와트 공장이 될 수 없다"고 강조했듯, 물리적으로 고정된 전력 한도 내에서 토큰 산출량을 높이는 지표인 '기가와트당 작업량'이 AI 팩토리 경제의 핵심 척도로 자리잡았습니다.
| 관리 방식 | 랙 및 노드 전력 제어 방식 | 인프라 내 워크로드 처리 특성 |
|---|---|---|
| 정적 프로비저닝 (기존) | 피크 전력 기준 고정 할당 | 유휴 전력(Stranded Capacity) 낭비 발생 |
| DSX MaxLPS (동적 최적화) | GPU 및 랙 단위 실시간 전력 모니터링 후 헤드룸 재할당 | 학습·추론 특성에 맞춰 동일 전력 예산 내 노드 추가 가동 |
---
람다(Lambda)의 DSX MaxLPS 실증 성과
GPU 클라우드 제공업체인 람다(Lambda)는 AI 인프라 서밋(AI Infra Summit)에서 엔비디아 HGX B200 서버 환경에 DSX MaxLPS를 적용한 첫 번째 상용 검증 결과를 공개했습니다. DSX MaxLPS는 학습과 추론이 서로 다르게 전력을 소비한다는 점에 착안하여, 정적 프로비저닝 시 버려지던 유휴 전력 용량을 회수해 노드 간에 재분배합니다.
| 기존 16개 노드 (최대 전력) | 4.0 |
| DSX 적용 19개 노드 (동일 전력 예산) | 5.0 |
람다가 5개 랙, 19개 노드 클러스터에서 실증을 진행한 결과는 다음과 같습니다.
- 토큰 처리량 개선: 기존 16개 노드를 완전 출력으로 가동하던 전력 예산 내에서 19개 노드를 구동하여, 초당 토큰 처리량을 약 400만 토큰에서 500만 토큰으로 24% 향상시켰습니다.
- 전력 효율 증가: 와트당 성능(Performance per watt) 지표가 23% 개선되었습니다.
- 차세대 확장 전망: 엔비디아는 차세대 베라 루빈(Vera Rubin) NVL72 AI 팩토리에 동일한 메가와트 전력 예산 조건에서 DSX MaxLPS를 적용할 경우 최대 40%의 GPU 용량을 추가로 확보할 수 있을 것으로 전망했습니다.
---
전력망 수요 반응(Demand Response)의 상용화와 직류 아키텍처
데이터센터 내부 효율화와 더불어, 외부 전력망의 부하에 실시간으로 대응하는 전력망 유연성(Grid Flexibility) 역시 핵심 기술로 검증되었습니다. 실리콘밸리 파워(Silicon Valley Power)의 유연 부하 연계 프로그램에 참여한 엔비디아의 이오스(Eos) AI 팩토리는 에머랄드 AI(Emerald AI)의 컨덕터(Conductor) 플랫폼을 도입해 운영 중입니다.
실리콘밸리의 전력 부하가 급증했던 8월의 어느 저녁, 실리콘밸리 파워가 전력 감축 신호를 보내자 시스템은 사람의 개입 없이 1분 미만의 시간 내에 반응했습니다. 우선순위가 낮은 작업은 속도를 늦추거나 재스케줄링하고 필수적인 고우선순위 추론 작업은 유지함으로써, 소비 전력을 4MW에서 3MW로 즉시 낮추는 데 성공했습니다. 실리콘밸리 파워는 이후 200회 이상의 수요 신호를 전송했으며 시스템은 매번 정상 작동했습니다.
이러한 성과는 향후 버지니아주 매너서스에 위치한 엔비디아 AI 팩토리 연구센터의 96MW 규모 베라 루빈 시설에 DSX Flex 형태로 정식 상용 배포될 예정입니다. 아울러 엔비디아는 고밀도 가속 컴퓨팅 랙의 전력 변환 복잡성을 줄이고 효율을 높이기 위해 800V DC(직류) 전원 아키텍처를 레퍼런스 디자인에 통합하고 있습니다. 직접 액체 냉각(Direct Liquid Cooling) 방식으로 약 120kW의 열을 처리해야 하는 GB200 NVL72 랙과 같은 초고밀도 시스템을 효율적으로 운영하기 위해서는 전력 공급 아키텍처의 혁신이 동반되어야 하기 때문입니다.