실험실 벗어난 에이전틱 AI: 메모리와 인프라 표준화

엔터프라이즈의 딜레마: 80% 도입률 뒤에 숨겨진 파일럿의 한계

기업용 인공지능 시장이 단순 챗봇 기반의 질의응답을 넘어 자율적으로 작업을 계획하고 수행하는 에이전틱 AI(Agentic AI) 체제로 빠르게 재편되고 있습니다. 글로벌 시장 조사와 엔터프라이즈 현장 지표에 따르면 포춘 500대 기업 중 약 80%가 이미 에이전틱 AI 파일럿을 도입했습니다. 그러나 대다수 조직은 단위 업무 단위의 단절된 실험 단계에 머물러 있으며, 조직 전반의 핵심 시스템으로 확장하는 데 상당한 병목을 겪고 있습니다.

NiCE의 최고운영책임자(COO) 아룬 찬드라(Arun Chandra)는 이러한 병목의 원인으로 비즈니스 전략과의 연계 부족 및 기존의 비효율적인 워크플로에 AI를 덧씌우는 접근 방식을 지적했습니다.

"모두가 이 기술로 무엇을 할 수 있을지 고민하고 있습니다. 하지만 확장을 위해서는 수익 증대나 비용 절감 등 명확한 전략적 목표가 정의되어야 하며, 에이전트가 작동할 워크플로 자체를 재설계해야 합니다. 가장 피해야 할 일은 구식이거나 비효율적인 워크플로 위에 AI를 얹는 것입니다."

찬드라 COO는 에이전트의 실제 효용이 처리 가능한 데이터, 지식, 컨텍스트의 통합 수준에 따라 결정된다고 강조합니다. 팀별로 분절된 시스템을 구축하면 새로운 형태의 사일로(Silo)가 발생하므로, 기업은 AI 에이전트를 인간 작업자와 동일한 기준과 거버넌스로 관리되는 단일 협업 워크포스로 다루어야 합니다.

1. 업무 목표 및 ROI 정의
2. 비효율 워크플로 재설계
3. 엔터프라이즈 데이터 및 백엔드 연동
4. 인간-에이전트 통합 거버넌스 수립

---

멀티모달 효율화: 제미나이 능동형 비디오 분석

에이전트가 실제 비즈니스 환경에서 작동하기 위해서는 시각 및 영상 데이터를 효율적으로 처리할 수 있어야 합니다. 구글 딥마인드(Google DeepMind)는 제미나이(Gemini) 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 모델에 능동형 비디오 이해(Agentic Video Understanding) 기능을 도입하여 정적 비디오 처리 방식의 구조적 한계를 개선했습니다.

기존의 정적 분석 방식은 초당 프레임 수(FPS, 기본 1 FPS)를 고정하여 전체 비디오를 순차적으로 모델에 주입하는 형태였습니다. 이로 인해 장시간 영상 분석 시 막대한 토큰 비용이 발생하거나 미세한 프레임 정보를 놓치는 문제가 있었습니다. 반면 능동형 비디오 분석은 모델이 내장 비디오 도구를 사용해 visual 프레임, 오디오, 트랜스크립트 전반에서 필요한 구간만을 동적으로 탐색, 스캔 및 검사합니다.

이 기능은 Google AI Studio 및 Gemini Enterprise Agent Platform에서 API 설정을 `agentic`으로 지정하여 활성화할 수 있습니다. 10분 길이의 튜토리얼부터 90분 이상의 강의 및 수 시간 분량의 영상까지, 롱폼 비디오 벤치마크인 LongVideoBench에서 제미나이 3.7 Flash는 높은 정확도와 비용 효율성을 기록했습니다. 구글은 이 기술을 제미나이 앱 및 유튜브의 'Ask YouTube' 질의응답 기능에 순차적으로 적용할 계획입니다.

---

단절된 컨텍스트의 복원: 로컬 영속 메모리 'funes'

코딩 및 개발 에이전트를 실무에 도입할 때 발생하는 고질적 문제는 세션 간 기억 상실입니다. 개발자가 머신을 변경하거나 도구를 전환할 때마다 에이전트는 이전 세션의 의사결정 맥락을 상실하고 매번 처음부터 작업을 시작하게 됩니다.

허깅페이스(Hugging Face)는 이러한 한계를 극복하기 위해 에이전트용 지속성 로컬 메모리 레이어인 funes를 오픈소스로 공개했습니다. `funes`는 Claude Code, Codex, pi, Hermes 등 다양한 코딩 에이전트의 실행 로그(Trace)를 단일 바이너리 환경에서 인덱싱하고 검색할 수 있도록 지원합니다.

• 결정론적 파이프라인: 에이전트 세션의 턴(Turn) 로그를 표준화된 블록 구조로 파싱하고 청킹하여 로컬 Lance 데이터셋에 저장합니다.
• 하이브리드 검색 및 리랭킹: 벡터 검색과 BM25 키워드 검색을 결합한 후, 로컬 크로스 인코더를 통해 재순위화(Rerank)하고 최신성을 반영하여 가중치를 부여합니다.
• 원본 증거 보존: 요약본(Summary) 형태로 압축하지 않고 실제 턴의 원본 텍스트와 메타데이터(타임스탬프, 에이전트 식별자, 세션 ID)를 유지합니다.
• 보안 및 동기화: 머신 간 공유 시 허깅페이스 프라이빗 데이터셋에 저장되며, 인덱싱 및 배포 전 자격증명 스캐너를 통해 시크릿 유출을 차단합니다.

기존의 컨텍스트 요약(Compaction) 및 수동 인계(Written Handoff) 방식과 비교한 handoff-vs-recall 벤치마크 결과, `funes`의 Recall 방식은 수동 인계 대비 비용이 4배에서 최대 8배 저렴한 것으로 나타났습니다. 또한 기존 요약 방식이 복잡한 작업에서 핵심 정보를 누락해 실패한 것과 달리, 원본 검색 방식은 세션 맥락을 온전히 복원했습니다.

---

엔터프라이즈 런타임과 분리: AWS Bedrock AgentCore

에이전트가 로컬 개발 환경을 넘어 프로덕션에 진입할 때 엔지니어링 팀은 인프라 운영, 세션 격리, 도구 인증, 보안 거버넌스라는 복합적 과제에 직면합니다. AWS는 Amazon Bedrock AgentCore를 통해 에이전트의 추론 로직과 인프라 운영 책임을 분리하는 AI 기반 개발 라이프사이클(AI-DLC) 참조 아키텍처를 제시했습니다.

1. SQL 스키마 기반 ER 다이어그램 자동 생성 워크플로

SQL 파일이 Amazon S3에 업로드되면 AWS Lambda와 Cognito OAuth2 인증을 거쳐 AgentCore 런타임이 구동됩니다. 컨테이너화된 에이전트는 Amazon Bedrock의 Claude Sonnet을 활용하여 데이터 정의 언어(DDL)를 파싱하고 Mermaid 문법의 ER 다이어그램을 생성합니다. 대규모 SQL 처리를 위해 청크 분할(Chunked Processing) 방식을 채택하고 OpenTelemetry 기반 추적을 적용했으며, AgentCore memory는 90일 만료 주기의 세션 컨텍스트를 유지하여 증분 분석을 지원합니다.

2. 다중 에이전트 기반 보안 검사 및 Model Context Protocol(MCP) 연동

GitLab 파이프라인과 연동된 다중 에이전트 시스템은 코드 품질 점수(1~10점)를 산출하고 취약점을 점검합니다. AgentCore Gateway는 표준화된 Model Context Protocol(MCP)을 통해 정책 점검 Lambda와 CVE 데이터베이스 검사 Lambda를 독립적으로 호출합니다. 이를 통해 에이전트 코드 수정 없이 외부 보안 도구를 유연하게 확장할 수 있습니다.

3. LangGraph 워크로드의 AgentCore 마이그레이션 실증

기존 자체 호스팅 LangGraph 에이전트를 AgentCore로 전환하는 마이그레이션 과정에서, 상태 머신 그래프 토폴로지나 추론 로직의 변경 없이 인프라 부담을 클라우드로 이관할 수 있음이 확인되었습니다. 코드 디스크 측정 기준, 단 45줄의 내부 코드 수정과 22줄의 신규 어댑터 코드 작성만으로 기존 코드 85줄을 유지한 채 마이그레이션이 완료되었습니다.

---

엔터프라이즈 에이전트 아키텍처의 전환점

최신 에이전틱 AI 기술 동향은 '추론 모델 자체의 성능'에서 '추론을 둘러싼 실행 환경의 고도화'로 중심축이 이동했음을 보여줍니다.

첫째, 멀티모달 입력 단계에서 제미나이가 입증한 능동형 도구 활용 루프는 토큰 비용과 연산 지연을 줄이는 표준 설계 패턴으로 자리잡고 있습니다. 둘째, 허깅페이스 `funes`와 AWS Bedrock AgentCore Memory가 제시하듯, 에이전트의 작업 이력을 로컬 및 분산 스토리지에 영속적 메모리로 보존하는 기술이 작업 연속성의 필수 조건이 되었습니다. 셋째, MCP 기반의 게이트웨이 연동과 독립된 런타임 분리는 엔터프라이즈 환경에서 보안 인가와 시스템 확장을 단순화하고 있습니다. 기업들은 개별 파일럿의 나열을 중단하고, 메모리·게이트웨이·런타임이 결합된 통합 플랫폼 아키텍처 구축을 검토해야 합니다.