정적 학습을 넘어선 에이전트 진화: MS Echoverse와 EvoLib

1. 정적 데이터와 단순 메모리의 한계: 자율 에이전트의 병목 현상

최근 컴퓨터 사용 에이전트(Computer-Use Agent)와 다단계 추론 에이전트 연구가 활발히 진행되고 있으나, 실제 복잡한 워크플로우에 배치할 때 심각한 성능 저하가 발생하고 있습니다. 실사용 환경의 핵심 업무는 이메일, 금융, 의료 기록 관리, 클라우드 콘솔 등 권한과 사용자 계정이 얽힌 폐쇄형 시스템(Closed Systems)에 집중되어 있습니다. 이러한 실제 서비스 환경에서 에이전트를 직접 학습시키는 것은 계정 데이터 파괴 위험, 롤백 불가능성, 화면 뒤에 숨겨진 내부 상태 추적의 한계로 인해 불가능에 가깝습니다.

또한 기존 에이전트 아키텍처의 메모리 시스템은 과거의 대화 로그나 행동 궤적을 단순히 정적으로 저장하고 검색(Retrieval)하는 방식에 머물러 있었습니다. 이는 기록이 누적될수록 방대한 아카이브 속에서 유의미한 지식을 선별하기 어렵게 만들며, 새로운 작업에 맞춰 축적된 경험을 일반화하거나 정제하지 못하는 근본적인 한계를 지닙니다. 마이크로소프트 리서치는 이러한 구조적 병목을 해결하기 위해 고충실도 상태 기반 훈련 환경인 Echoverse와 추론 시점 지식 진화 라이브러리인 EvoLib을 발표했습니다.

---

2. Echoverse: 데이터베이스 기반의 심층 합성 환경과 공동 진화 파이프라인

Echoverse는 단순히 화면 픽셀을 흉내 내는 가상 웹사이트의 수를 늘리는 대신, 애플리케이션의 실제 인과 관계와 데이터베이스 상태를 완벽하게 재현하는 '심층 환경(Deep Worlds)' 구축에 집중합니다. 얕은 수준으로 복제된 환경에서 훈련받은 모델은 오히려 성능이 퇴보하는 현상이 관찰되었으며, 권한 체계, 상태 일관성, 감사 로그가 온전히 작동하는 심층 환경에서만 유의미한 정책 학습이 가능했습니다.

Echoverse의 생성 및 검증 루프는 환경 빌드와 모델 훈련을 분리하지 않고 단일 프로세스로 결합합니다.

1. 시드 시나리오 기반 스펙 컴파일
2. FastAPI·SQLite·React 기반 앱 생성
3. 실제 UI 상의 에이전트 실행 검증
4. SQL 상태 차이 기반 그라운디드 채점
5. 환경·태스크·모델 공동 진화

Echoverse 파이프라인은 다음과 같은 다섯 가지 핵심 속성을 기준으로 환경을 검증합니다.

• 동작 충실도(Behavioral Fidelity): 상호작용 컨트롤, 권한 설정, 오류 처리가 실제 상용 제품의 로직을 정확히 따릅니다.
• 상태 일관성(Coherent State): 발송된 메시지가 수신자 화면에 즉시 반영되고, 취소된 일정이 양측 캘린더에서 모두 제거되는 등 사용자 간 상태가 일치합니다.
• 워크플로우 깊이(Workflow Depth): 초기 단계의 선택이 이후 진행 가능한 경로와 제약 조건을 결정합니다.
• 권위 있는 검증기(Authoritative Verification): 화면 스크린샷 판독이 아니라 실제 데이터베이스의 Before/After 차이(SQL diff)를 통해 작업 성공 여부를 판정합니다.
• 도메인 가치(Domain Value): 실제 업무 자동화 가치가 높은 폐쇄형 도메인 워크플로우를 타깃으로 삼습니다.

"A computer-use agent learns the results of what its actions do only where they have real consequences... We rebuild the system as a synthetic world where the database is yours: the state is real and changes for real, but it is safe to break, quick to reset, and graded from the data rather than a screenshot."

환경 내에서 수행되는 모든 작업은 데이터베이스 쿼리를 통해 정답이 생성됩니다. 단순 읽기(Read)는 저장된 값과의 의미론적 동등성을 채점하고, 쓰기(Write)는 데이터베이스 행의 실제 상태 변경 여부를 대조하여 판정하므로 환각이나 편법으로 통과하는 것을 원천 차단합니다.

---

3. 도메인 세계와 역량 집중 세계의 결합 성과

마이크로소프트는 통신, 엔지니어링, 규제 대상 기록, 미디어, 여행 등 10개의 심층 도메인 환경과 에이전트가 반복적으로 실패하는 특정 UI 컨트롤을 집중 훈련하는 2개의 역량 세계(Capability Worlds)를 합쳐 총 12개 훈련 환경을 구성했습니다. 예를 들어 숙박 예약 환경인 EchoStay는 InsideAirbnb 공개 데이터를 기반으로 약 87개 라우트와 23개 테이블로 구축되었으며, 커뮤니티 환경인 EchoForum은 255만 건의 댓글 말뭉치를 기반으로 작동합니다.

역량 세계는 날짜 선택기(Date Picker) 및 중첩 필터와 같이 에이전트가 자주 멈추는 UI 요소를 수많은 변형 형태로 집중 제공합니다. 이를 통해 모델은 훈련 중 보지 못한 10개의 새로운 컨텍스트에서도 '2026년 1월 마지막 주 목요일'과 같은 복잡한 날짜 추론을 정확한 클릭 액션으로 전환할 수 있게 되었습니다.

---

4. EvoLib: 가중치 고정 환경에서의 추론 시점 지식 라이브러리 진화

Echoverse가 모델 훈련 단계의 환경 고도화를 다룬다면, EvoLib은 배포 이후 추론(Inference) 단계에서 모델 가중치를 수정하지 않고 지식을 지속적으로 진화시키는 프레임워크입니다. 모델 파라미터를 업데이트할 수 없는 블랙박스 LLM이나 상용 API 환경에서도 동작하도록 설계되었습니다.

EvoLib은 경험을 정적 로그로 방치하지 않고, 성공적인 해결책에서 추출한 '재사용 가능한 스킬(Reusable Skills)'과 실패에서 도출한 '성찰적 통찰(Reflective Insights)'이라는 지식 단위로 변환합니다. 이 시스템은 두 가지 핵심 메커니즘을 기반으로 작동합니다.

• 통합(Consolidation): 최근 경험에서 새로운 지식이 추출되면 라이브러리 내 유사 지식을 검색하여 더 일반적이고 다양한 작업에 전이 가능한 형태로 결합합니다.
• 가중치 부여(Weighting Mechanism): 특정 지식 단위의 중요도를 현재 작업에 대한 즉각적 효용뿐만 아니라 미래의 다른 작업에서 유용한 지식을 생성하는 데 기여한 정도까지 고려하여 동적으로 업데이트합니다.

수학적 추론, 효율 제약 기반 코드 작성, 장기 환경 상호작용 의사결정 등 세 가지 벤치마크 평가에서 EvoLib은 기존의 검색 기반 메모리 접근법 대비 훨씬 효율적인 토큰 사용량으로 최고 수준의 성능을 기록했습니다. 또한 테스트 시점 연산량(Test-Time Compute)이 증가함에 따라 지식 라이브러리가 정제되면서 성능이 가파르게 상승하는 연산 효율성을 입증했습니다.

---

5. 실세계 환경을 위한 무작위 작업 순서 견고성

실제 서비스 환경에서 에이전트는 체계적인 커리큘럼이 아니라 무작위로 뒤섞인 이종 작업 스트림을 처리해야 합니다. EvoLib 연구팀은 동일한 이종 작업 세트를 임의의 순서로 제시하는 실험을 진행했습니다.

실험 결과, EvoLib은 작업 유입 순서가 무작위로 바뀌더라도 성능 저하 없이 안정적인 지식 축적 및 성능 향상을 유지했습니다. 이는 지식 통합 및 가중치 메커니즘이 작업 순서 의존성을 효과적으로 상쇄하며, 배포 후 실제 사용자의 다양한 요청 속에서도 자체적인 지식 라이브러리를 견고하게 발전시킬 수 있음을 증명합니다.

---

6. 결론: 상호작용 환경과 지식 정제의 결합이 여는 에이전트의 미래

마이크로소프트의 이번 연구들은 에이전트의 성능 확장이 단순히 파운데이션 모델의 크기나 웹 스크래핑 데이터의 양에만 의존하지 않는다는 점을 명확히 보여줍니다. 데이터베이스와 동기화된 정밀한 환경(Echoverse)을 통해 기본 조작 능력을 극대화하고, 배포 후에는 추론 경험을 지식 라이브러리로 진화(EvoLib)시키는 접근법은 자율 에이전트의 실용적 배포를 가속화하는 핵심 아키텍처로 자리잡을 것입니다.