롱컨텍스트 추론 병목과 오픈웨이트 아키텍처의 진화
추론 전용 모델(Reasoning Models)과 자율 에이전트 워크플로우가 본격화되면서 대규모 언어 모델(LLM)이 단일 세션에서 유지해야 하는 토큰의 양과 체류 시간이 급격히 늘어났습니다. 이로 인해 트랜스포머 아키텍처에서 KV 캐시 크기, 메모리 대역폭 트래픽, 그리고 어텐션 연산 비용이 전체 시스템 처리량의 핵심 제약 요인으로 부상했습니다. 최근 공개되는 오픈웨이트 모델들은 무작정 매개변수를 키우기보다 트랜스포머 블록 내부의 잔여 연결(Residual Stream), KV 캐시, 어텐션 계산 경로를 정밀하게 재설계하여 긴 문맥(Long-Context) 처리 비용을 낮추는 방향으로 선회하고 있습니다.
구글이 공개한 오픈웨이트 제품군인 Gemma 4를 비롯해 풀사이드(Poolside)의 Laguna XS.2, ZAYA1-8B, 그리고 공개를 앞둔 DeepSeek V4에 이르기까지, 모델 개발사들은 고유한 연산 최적화 기법을 도입하고 있습니다. 이러한 변화는 단순한 하이퍼파라미터 조정을 넘어 모델 용량(Capacity)과 추론 비용 사이의 트레이드오프를 재정의하는 구조적 변화를 담고 있습니다.
| 모델명 | 타깃 환경 및 설계 목적 | 유효 파라미터 | 임베딩 포함 총 파라미터 |
|---|---|---|---|
| Gemma 4 E2B | 모바일 및 임베디드(IoT) 기기 추론 | 2.3B | 5.1B |
| Gemma 4 E4B | 소형 로컬 디바이스 및 고효율 환경 | 4.5B | 8.0B |
| Gemma 4 26B | 로컬 추론 최적화 MoE 모델 | - | 26B (MoE) |
| Gemma 4 31B | 사후 학습 편의성 및 최고 품질 dense 모델 | - | 31B (Dense) |
Gemma 4의 레이어 간 KV 공유: 메모리 반감의 메커니즘
Gemma 4 소형 라인업(E2B, E4B)에 적용된 가장 주목할 만한 최적화는 레이어 간 KV 공유(Shared KV Cache / Cross-Layer Attention) 기법입니다. 이는 이전 브랜든(Brandon) 등의 연구(NeurIPS 2024)에서 제안된 개념을 상용급 오픈 모델에 본격 적용한 사례입니다. 기존 그룹화 쿼리 어텐션(GQA)이 동일 레이어 내에서 여러 쿼리 헤드가 소수의 KV 헤드를 공유하는 방식이었다면, Gemma 4는 이를 레이어 축으로 확장하여 후속 레이어가 이전 레이어에서 계산된 Key-Value 상태를 그대로 재사용하도록 설계했습니다.
Gemma 4 E2B는 일반 GQA(1개 KV 헤드를 갖는 MQA 형태)와 슬라이딩 윈도우 어텐션(Sliding Window Attention)을 4:1 비율로 교차 배치합니다. KV 공유는 동일한 어텐션 유형 간에만 엄격하게 발생합니다. 슬라이딩 윈도우 레이어는 직전 비공유 슬라이딩 윈도우 레이어의 KV를 재사용하고, 풀 어텐션 레이어는 직전 비공유 풀 어텐션 레이어의 KV를 참조합니다. 각 레이어는 자신만의 쿼리(Query) 프로젝션을 독립적으로 계산하므로 고유한 어텐션 패턴을 형성할 수 있으면서도, 메모리를 가장 많이 차지하는 KV 텐서 계산과 저장은 생략됩니다.
- Gemma 4 E2B 레이어 구성: 총 35개 트랜스포머 레이어 중 초기 15개 레이어만 독자적인 KV 프로젝션을 계산하며, 나머지 20개 레이어는 이전 레이어의 KV 텐서를 재사용합니다.
- Gemma 4 E4B 레이어 구성: 총 42개 레이어 중 24개 레이어가 자체 KV를 계산하고, 후속 18개 레이어는 KV를 공유합니다.
- 메모리 절감 효과: 전체 레이어의 약 절반에서 KV 캐시를 공유함으로써 bfloat16 정밀도 기준 128K 문맥에서 E2B는 약 2.7GB, E4B는 약 6.0GB의 KV 캐시 메모리를 직접 절감합니다.
이러한 KV 공유는 실제 표현력 측면에서 근사(Approximation)에 해당하여 모델 용량의 미세한 손실을 수반할 수 있으나, 기존 연구 결과에 따르면 소형 모델 크기에서는 성능 저하 폭이 매우 제한적인 것으로 확인되었습니다.
레이어별 임베딩(PLE): 연산량 증가 없는 표현력 확장
Gemma 4 E2B와 E4B 모델명에 붙은 'E'는 유효 파라미터(Effective Parameters)를 의미합니다. 두 모델은 유효 연산 파라미터 대비 실제 파라미터 수가 두 배 이상 큰데, 이는 레이어별 임베딩(Per-Layer Embeddings, PLE) 구조 때문입니다. 고밀도(Dense) 트랜스포머 스택 전체를 확장하면 어텐션과 FFN 연산 비용이 함께 급증하지만, PLE는 토큰별 추가 용량을 룩업 테이블 형태로 보존함으로써 메인 연산 경로를 가볍게 유지합니다.
- 토큰 ID 입력
- PLE 룩업 및 선형 프로젝션 결합
- 레이어별 슬라이스 분할
- FFN 출력 기반 게이팅
- 추가 잔여 연결 합산
PLE의 구체적인 연산 과정은 다음과 같습니다:
1. 결합 임베딩 생성: 입력 토큰 ID가 레이어별 임베딩 룩업 테이블을 통과하고, 일반 토큰 임베딩이 선형 프로젝션을 거쳐 동일한 패킹된 PLE 공간으로 투영된 후 두 값이 합산 및 스케일링됩니다. 2. 레이어 슬라이스 분배: 이 텐서는 레이어별 슬라이스로 재구성되어 각 디코더 레이어(l)에 해당하는 작은 토큰 벡터(ple_l) 형태로 전달됩니다. 3. 게이팅 및 잔여 연결: 각 트랜스포머 블록 내부에서는 어텐션 및 피드포워드(FFN) 잔여 연결이 정상 수행됩니다. 이후 FFN을 거친 은닉 상태(Hidden State)를 사용하여 해당 레이어의 PLE 벡터를 게이팅(Gating)합니다. 4. 최종 투영: 게이팅된 PLE 벡터는 모델의 은닉 차원으로 다시 프로젝션되고 정규화 과정을 거친 뒤 추가적인 잔여 연결로 더해집니다.
이 구조를 통해 트랜스포머 블록의 주 연산량은 E2B(2.3B) 수준으로 억제되면서도, 캐싱이 용이한 룩업 파라미터를 통해 5.1B급의 표현 용량을 확보할 수 있게 됩니다.
압축 어텐션과 차세대 아키텍처의 다변화 흐름
긴 문맥 처리 비용을 절감하려는 시도는 Gemma 4에 국한되지 않고 오픈 모델 생태계 전반으로 확산되고 있습니다. 유럽 기반 코딩 전용 LLM 개발사인 풀사이드(Poolside)가 공개한 오픈웨이트 모델 Laguna XS.2는 레이어별로 어텐션 연산 자원을 차등 배분하는 레이어 단위 어텐션 예산화(Layer-wise Attention Budgeting) 방식을 도입했습니다.
또한 ZAYA1-8B 모델은 합성곱 연산을 결합한 압축 합성곱 어텐션(Compressed Convolutional Attention)을 적용하였으며, 차세대 모델인 DeepSeek V4는 mHC 및 압축 어텐션(Compressed Attention) 설계를 채택하여 롱컨텍스트 환경에서의 연산 및 캐시 효율을 극대화하고 있습니다. 이는 단순한 GQA 단계를 넘어 레이어 간 파라미터 공유, 어텐션 압축, 합성곱 하이브리드 결합 등 트랜스포머 내부 매커니즘의 구조적 변형이 표준화되고 있음을 보여줍니다.
기술 보고서 너머의 분석법: 구현 코드와 설정 파일 검증
최근 주요 AI 연구소들이 공개하는 공식 기술 보고서(Technical Report)는 과거에 비해 세부 아키텍처 수치와 구체적 메커니즘을 상세히 다루지 않는 경향이 강해졌습니다. 이에 따라 새로운 오픈웨이트 아키텍처를 정확히 파악하기 위해서는 논문 텍스트에만 의존하지 않고 코드 수준에서 실체를 검증하는 분석 워크플로우가 요구됩니다.
"공식 논문의 디테일이 줄어들고 있지만, 가중치가 Hugging Face Model Hub에 공유되고 트랜스포머 라이브러리에서 지원된다면 설정 파일과 참조 구현체를 직접 검사하여 아키텍처의 세부 정보를 확인할 수 있습니다. 실제 동작하는 코드는 거짓말을 하지 않습니다."
허깅페이스(Hugging Face)에 등록된 `config.json`의 레이어 구성 설정과 모델의 파이썬 참조 구현체를 직접 교차 검증함으로써, 기술 문서에서 생략된 KV 공유 레이어 인덱스, 슬라이딩 윈도우와 풀 어텐션의 결합 비율, PLE 게이팅 수식 등의 정밀한 구현 매개변수를 확인할 수 있습니다. 폐쇄형 모델과 달리 오픈웨이트 생태계에서는 이러한 소스 코드 기반 분석이 아키텍처 진화를 추적하는 실질적인 기준이 되고 있습니다.