로컬 에이전트와 영구 메모리: 단절된 컨텍스트의 해결
그동안 개발자들은 머신을 변경하거나 새로운 에이전트 세션을 시작할 때마다 이전의 맥락이 단절되는 고질적인 문제에 직면해 왔습니다. 허깅페이스가 공개한 funes는 Claude Code, Codex, pi, Hermes 등 다양한 에이전트의 세션 로그를 로컬에서 색인하여 지속 가능한 메모리 계층으로 변환하는 오픈소스 단일 바이너리 툴입니다. 기존의 단순 텍스트 압축(Compaction)이나 핸드오프 방식과 달리, funes는 원래 세션의 텍스트와 정확한 출처(agent, timestamp, session, turn)를 온전히 보존합니다.
- 세션 로그 발생
- Lance 로컬 색인
- BM25+벡터 검색
- Cross-Encoder 재순위화
- 세션 간 리콜 실행
funes의 내부 파이프라인은 모든 에이전트의 trace를 단일한 턴·블록 형태로 파싱하여 로컬 Lance 데이터셋에 저장합니다. 검색 시에는 벡터와 BM25 검색을 결합하고 Cross-Encoder 기반의 리랭킹과 최신성 가중치를 적용하여 관련 청크를 반환합니다. 벤치마크 평가 결과, 컨텍스트를 유지하는 비용 측면에서 리콜 방식은 수작업 핸드오프 대비 4배에서 최대 8배까지 비용이 저렴한 것으로 나타났습니다. 또한 허깅페이스 허브와 연동하여 세션 데이터를 비공개 데이터셋으로 동기화할 수 있으며, 배포 전 자격 증명(credentials) 자동 검열 및 시크릿 스캐닝을 거치도록 설계되었습니다.
오픈 가중치 모델과 로컬 하네스 생태계의 부상
독점적 클라우드 서비스 구독(Claude Code, Codex 등)의 API 정책 변경 및 프라이버시 위험에 대응하기 위해, 오픈 가중치 LLM을 활용한 온디바이스 개발 환경 구축이 본격화되고 있습니다. Sebastian Raschka의 분석에 따르면, Qwen3.6 35B-A3B 및 Cohere의 North Mini Code 1.0과 같은 최신 오픈 가중치 모델은 로컬 하네스와 결합하여 프로덕션 수준의 작업 환경을 구성할 수 있습니다.
| 모델 / 아키텍처 | 다운로드 크기 | 권장 RAM 사양 | 특징 및 서빙 백엔드 |
|---|---|---|---|
| Qwen3.6 35B-A3B | 약 22 GB | 30~40 GB | Hybrid Attention 적용, Qwen-Code 하네스 최적화 |
| North Mini Code 1.0 | 35B 급 | 30~40 GB | 동급 크기 내 최상위권 벤치마크 성능 대안 |
| Gemma 4 (e2b) | 소형 경량화 | 약 8 GB (장기 컨텍스트) | RAM 제약 환경(30GB 미만) 대응용 모델 |
Ollama와 MLX(Apple Silicon Metal 가속) 등의 고속 추론 서빙 프레임워크를 적용할 경우, 5만(50k) 단어 수준의 장기 컨텍스트 환경에서도 약 20~29GB 수준의 메모리 점유율을 유지하며 안정적으로 로컬 코딩 하네스를 실행할 수 있습니다. 엔비디아의 Polar 연구(2026년 5월) 역시 Qwen 계열 모델이 전용 하네스인 Qwen-Code 환경에서 최고의 코딩 성능을 기록했음을 입증했습니다.
토큰 생성 자립을 둘러싼 빅테크의 생태계 전쟁
오픈소스 AI 모델 생태계의 확장은 단순한 기술 공유를 넘어 글로벌 반도체 및 빅테크 기업 간의 치열한 플랫폼 전쟁으로 비화하고 있습니다. 엔비디아는 기업들이 폐쇄형 API(OpenAI, Anthropic 등)에 종속되지 않고 자체 인프라에서 토큰을 직접 생성하도록 유도하기 위해 오픈소스 및 개방형 모델 개발에 약 260억 달러를 투입하고 있습니다.
"엔비디아는 소수의 기업이 지능을 독점하지 않고 수많은 주체가 직접 '토큰 머신'을 구축하는 세상을 원하고 있습니다. 이는 전 세계적인 추론 수요와 자사 칩 구매를 폭발적으로 견인하는 핵심 전략입니다."
최근 오픈 모델 진영은 기본 모델(Base model) 전체를 사전 학습하는 방식에서 벗어나, DeepSeek V4 Flash나 GLM 5.x 같은 고성능 베이스 모델 위에 추론 강화 및 에이전트 특화 파인튜닝(Reasoning & Post-training)을 덧붙이는 구조로 고도화되고 있습니다. 반면 메타(Meta)는 거대 자본력을 기반으로 고성능 오픈 가중치 모델(Muse Spark 1.2 등)을 무료로 배포하여 경쟁사들의 토큰 판매 비즈니스 모델을 무력화하는 보완재 상품화(Commoditizing the complement) 전략을 구사하고 있습니다.
'AI 해고'의 허상과 소프트웨어 엔지니어링의 본질
AI의 급격한 도입에도 불구하고 소프트웨어 엔지니어의 대량 해고는 현실화되지 않았으며, 세간에 알려진 감원 사례들은 재무 위기를 가리기 위한 AI 워싱(AI washing)으로 확인되었습니다.
- Block (Cash App/Square): AI로 인한 조직 효율화를 내세워 4,000명을 감원했다고 발표했으나, 팬데믹 기간 인력 3배 급증에 따른 재정 압박이 실제 원인이었습니다.
- Snap: CEO가 AI 코드 작성 비율 65%를 언급하며 1,000명을 해고했으나, IPO 이후 연속 순손실과 주가 30% 폭락에 따른 행동주의 투자자의 구조조정 요구 때문이었습니다.
- Intuit: AI 파트너십 발표와 맞물려 3,000명을 감원했으나, 경영진은 AI와 무관한 관리 계층 축소 목적임을 밝혔습니다.
실제로 설문조사 결과 미국 채용 담당자의 59%가 재정적 한계 대신 AI를 해고 및 채용 동결의 대외 명분으로 활용한다고 인정했습니다. 포레스터(Forrester) 분석에 따르면 AI로 인력을 대체하겠다고 밝힌 기업의 90%는 이를 대체할 성숙한 AI 애플리케이션을 갖추지 못한 상태였습니다. 또한 뉴욕주 WARN Act 신고 데이터에서 1년간 발생한 25,000명의 해고 인원 중 AI를 사유로 명시한 비중은 Nespresso 단 1개사(46명, 약 0.2%)에 불과했습니다.
소프트웨어 개발은 단순 코딩이 아닌 '결정(Decide) - 실행(Execute) - 전달(Deliver)'의 3단계 샌드위치 구조로 이루어집니다. 마이크로소프트 개발자 6,000명 대상 조사 등 과거 연구에 따르면 실제 엔지니어가 순수 코드 작성에 쓰는 시간은 전체의 9%~61%에 불과합니다. AI가 코드 생성(실행) 속도를 획기적으로 개선하더라도, 요구사항 정의(결정)와 프로덕션 배포 및 유지보수(전달)의 복잡성은 여전히 인간 엔지니어의 핵심 영역으로 남아 있습니다.