시각 피질의 신호를 복원하는 듀얼 브랜치 확산 아키텍처
이스라엘 레호보트 소재 와이즈만 과학 연구소(Weizmann Institute of Science)의 컴퓨터 과학자 미할 이라니(Michal Irani) 연구팀은 기능적 자기공명영상(fMRI) 뇌 스캔 데이터를 분석하여 피험자가 실제로 바라보고 있는 이미지를 정밀하게 재구성하는 인공지능 도구를 발표했습니다. 이 도구는 시각 정보를 역추적하는 데 그치지 않고, 임의의 이미지를 제시했을 때 사람의 뇌 활동 패턴이 어떻게 나타날지 양방향으로 예측하는 기능을 갖추었습니다.
과거 연구진이 시도했던 초기 fMRI 기반 시각 재구성 모델들은 결과물이 극도로 흐릿하여 형태를 식별하기 어려웠습니다. 기존 fMRI 장비에서 측정되는 단일 복셀(voxel)은 약 3mm³ 부피로 약 16,000개의 뉴런을 포함하고 있어 해상도에 한계가 있었습니다. 반면 이라니 연구팀은 복셀 크기가 약 1mm³ 수준으로 뉴런 밀집도가 훨씬 정밀하게 포착되는 최신 고해상도 fMRI 데이터셋을 도입했습니다.
모델의 핵심은 시각 정보를 분해하여 처리하는 두 개의 분기(Dual Branches) 구조에 있습니다.
- 구조 예측 분기: 이미지 내 색상의 배치, 윤곽선, 공간적 구도를 전담하여 추정합니다.
- 콘텐츠 예측 분기: 대상 객체의 정체성(예: 접시 위에 놓인 바나나 다발)과 세부 의미를 판별합니다.
- 확산 모델(Diffusion Model) 결합: 노이즈 상태의 픽셀을 단계적으로 정제하는 확산 프로세스를 적용하여, 원본 시각 자극과 구조적·의미론적으로 일치하는 고해상도 이미지를 생성합니다.
기존 모델들이 단순히 '바나나'라는 범주만 인식해 원본과 완전히 다른 각도나 형태의 이미지를 출력했던 것과 달리, 이번 아키텍처는 객체의 정확한 위치와 공간적 배열까지 유지한 채 복원해내는 성과를 거두었습니다.
---
인코더-디코더 상호 학습과 캘리브레이션 장벽의 돌파
뇌 신호 디코딩 연구의 가장 큰 병목은 fMRI 스캔 데이터의 절대적 부족이었습니다. 연구팀은 고해상도 fMRI 스캐너 안에서 각각 약 9,000장의 이미지를 시청한 피험자 8명의 공개 데이터셋으로 초기 훈련을 시작했으나, 딥러닝 모델의 일반화 성능을 확보하기에는 턱없이 부족했습니다.
이라니 연구진은 이미지를 기반으로 fMRI 뇌 활동을 시뮬레이션하는 인코더(Encoder)와, 뇌 활동으로부터 이미지를 역산하는 디코더(Decoder)를 상호 연동하는 폐루프 학습 방식을 고안했습니다.
- 신규 이미지 입력
- 인코더: 가상 뇌 스캔 예측
- 디코더: 이미지 재구성
- 오차 역전파 및 모델 동시 개선
이 상호 훈련 파이프라인 덕분에 피험자가 fMRI 장비 안에서 직접 보지 않은 무수한 일반 이미지를 훈련에 투입할 수 있게 되었습니다. 실제로 전체 학습 데이터의 약 70%는 fMRI 뇌 스캔과 사전에 쌍을 이루지 않은 순수 이미지로 구성되었습니다. 또한 여러 연구의 데이터를 통합 분석함으로써 음식 이미지에 반응하는 영역, 스포츠 장면에 반응하는 영역 등 피험자 간에 공통으로 공유되는 기능적 뇌 영역을 식별해 냈습니다.
그 결과 개발된 범용 뇌 인코더(Universal Brain Encoder)는 새로운 피험자를 대상으로 한 적응(Calibration) 비용을 획기적으로 낮추었습니다.
| 비교 항목 | 기존 fMRI 디코딩 모델 | 와이즈만 연구소 신규 모델 |
|---|---|---|
| 신규 피험자 보정 필요 시간 | 약 40시간 | 단 1시간 |
| 피험자당 캘리브레이션 비용 | $24,000 ~ $40,000 | $600 ~ $1,000 |
| 비페어링 데이터 활용 | 불가능 (실측 페어 데이터 의존) | 전체 데이터의 약 70% |
| 재구성 메커니즘 | 단일 의미 분류 기반 | 구조·콘텐츠 듀얼 확산 모델 |
미국 캘리포니아 대학교 산타바바라(UC Santa Barbara)의 신경과학자 토미 스프레이그(Tommy Sprague) 교수는 fMRI 장비 사용료가 시간당 약 $600~$1,000에 달한다는 점을 지적하며, 40시간의 스캔 비용을 감당할 수 없던 신경과학 연구 환경에서 1시간 단축은 연구 속도를 획기적으로 가속화할 것이라고 평가했습니다.
다만 연구팀은 케이크 이미지를 3단 샌드위치로 복원하거나, 욕조 속 개를 비슷한 색상의 염소로 오인하는 등 구조적 한계와 오류 사례가 여전히 존재하며, 이를 극복하기 위해 이미지에서 비디오 및 오디오 영역으로의 확장을 준비 중이라고 밝혔습니다.
---
의료적 응용 잠재력과 '신경 프라이버시(Neuro-privacy)' 윤리적 쟁점
이 기술은 뉴욕에서 열린 인지 계산 신경과학(Cognitive Computational Neuroscience) 학술대회에서 발표되며 학계의 비상한 관심을 모았습니다. 캐나다 브리티시컬럼비아 대학교(UBC)의 신경윤리학자 주디 일레스(Judy Illes) 교수는 이 접근법이 신경계 질환을 겪는 환자들에게 치료적 차원에서 엄청난 잠재력을 지닌다고 평가했습니다.
이라니 연구팀은 궁극적으로 다음과 같은 응용 분야를 목표로 연구를 고도화하고 있습니다.
- 감금증후군(Locked-in Syndrome) 환자 소통 지원: 전신이 마비된 환자가 순수한 뇌 활동만으로 외부와 의사소통할 수 있는 BCI 인터페이스 구축
- 정신 질환 및 외상 후 스트레스 장애(PTSD) 분석: 환자가 겪는 플래시백의 시각적 형태를 객관적으로 가시화하여 치료 기전 규명
- 수면 중 꿈(Dream) 및 심상 재구성: 피험자가 마음속으로 떠올리는 상상이나 꿈의 콘텐츠 복원
그러나 연구의 진척과 함께 개인의 내밀한 생각과 정신적 심상이 동의 없이 추출될 수 있다는 경고가 강력하게 제기되고 있습니다. 현재의 fMRI는 피험자가 거대한 자기공명 장치 내부에서 장시간 협조해야 하므로 강제 스캔이 불가능합니다. 하지만 연구진은 전극 캡이나 일반 헤드폰 형태로 착용 가능한 뇌파(EEG) 데이터를 기반으로 뇌 활동을 디코딩하는 후속 연구를 진행 중입니다.
독일 뮌헨 공과대학교(TUM)의 신경과학자 겸 철학자 마르첼로 이엔카(Marcello Ienca) 교수는 EEG 기반으로 기술이 전환될 경우 완전히 다른 국면이 전개될 것이라고 지적했습니다.
"EEG 기기가 사용자의 뇌에 맞춰 한 번 보정되고 나면, 기업들이 동의 없이 사용자의 뇌로부터 추가적인 정보를 추출해 내는 일이 비교적 쉬워질 수 있습니다. 선의로 시작된 연구라 할지라도 윤리적·사회적으로 문제 소지가 다분한 상업적 용도로 변질될 가능성이 명백합니다."
이엔카 교수는 향후 사법 법정에서 뇌 스캔으로 재구성된 심상 이미지가 법적 증거로 채택되는 시나리오까지 현실화될 수 있음을 경고했습니다.
---
뇌 과학을 넘어 프론티어 AI 전반으로 번지는 기술·안보 패권
마인드 리딩 AI의 급진적 진전 외에도 글로벌 기술 환경 전반에서 프론티어 모델의 확장, 반도체 공급망 병목, 규제 당국의 개입이 동시다발적으로 발생하고 있습니다.
| Logitech AI Chip Shortage | 18 |
| Standard Server Cycle | 6 |
미국 국방부(Pentagon)는 지하 공간부터 우주에 이르는 차세대 전장을 통제하는 미래전 프로젝트 '프로젝트 메리디안(Project Meridian)'의 공동 수장으로 일론 머스크(Elon Musk)를 지명했으며, 팰머 러키(Palmer Luckey)와 뉴트 깅그리치(Newt Gingrich)가 합류했습니다. 미 국방부는 신규 자율전 사령부를 신설하고 AI 기반 거짓말 탐지기 도입을 추진하고 있습니다.
반도체 인프라 측면에서는 공급난이 장기화되고 있습니다. 로지텍(Logitech)의 CEO 하네케 파버(Hanneke Faber)는 월스트리트저널(WSJ)과의 인터뷰에서 AI 수요 폭증으로 인한 칩 부족 사태가 향후 12개월에서 18개월 동안 지속될 것이라며, 전 세계를 돌며 칩 확보를 위해 구걸하고 빌려오는 처지라고 토로했습니다.
- 글로벌 AI 경쟁 및 기술 유출: 중국계 해커들이 미국 전직 관료와 앤스로픽(Anthropic) 직원을 사칭해 군사 AI 및 수출통제 전문가를 대상으로 스파이 활동을 전개했습니다. 오픈AI는 중국의 문샷 AI(Moonshot AI)가 자사 모델을 무단 복제했다고 고발했으며, 딥시크(DeepSeek)와 화웨이는 칩 소프트웨어 동맹을 결성했습니다.
- 차세대 모델 출시와 사내 이견: 구글은 오픈AI의 아스트라(Astra)를 다수 벤치마크에서 능가한다고 주장하는 제미나 4 아르곤(Gemini 4 Argon)을 공개했으나, 구글 내부 엔지니어들 사이에서는 코딩 성능에 대한 회의론이 제기되었습니다. 구글은 AI 검색 결과에 대해 언론사에 비용을 지불하는 시스템을 시험 중입니다.
- 자율 에이전트 대상 규제 칼날: 미국 연방거래위원회(FTC)는 오픈AI와 앤스로픽 등 주요 AI 연구소를 상대로 자율 AI 에이전트(AI Agents)가 소비자에게 미칠 수 있는 잠재적 피해와 폭주 에이전트(Rogue Agents)에 대한 첫 공식 법적 조사에 착수했습니다.