자율 감시 AI의 치명적 사각지대: 60억 달러 ‘가상 장벽’의 현실
국경 통제와 국방 안보를 위해 대규모로 배치된 인공지능(AI) 자율 시스템이 실제 현장에서 인명 구조와 위협 탐지라는 본연의 목적을 달성하지 못하고 있다는 사실이 드러났습니다. MIT 테크놀로지 리뷰(MIT Technology Review)와 샌디에이고 타임스(Times of San Diego)의 15개월에 걸친 공동 심층 탐사보도에 따르면, 미국 세관국경보호국(CBP)이 구축한 첨단 AI 감시 타워 주변에서 인도주의적 참사가 지속되고 있는 것으로 확인되었습니다.
대표적인 사례로 2024년 4월 8일 뉴멕시코 남부 사막에서 사망한 32세의 호세 모랄레스 베르날(José Morales Bernal) 사건이 꼽힙니다. 그는 방산 테크 기업 안두릴(Anduril)이 제작한 최신 자율 감시 타워(Autonomous Surveillance Towers, AST) 세 대의 감시 반경 내에 진입했으나, 시스템은 그를 조기에 포착하지 못했습니다. 모랄레스는 가장 가까운 감시 타워로부터 불과 360피트(약 110m) 떨어진 지점에서 환경 노출(탈수 및 열사병)로 숨졌으며, 국경 순찰대가 아닌 인근 매립지 노동자들에 의해 뒤늦게 발견되었습니다.
비영리 단체의 유해 발견 기록 약 4,000건과 전자프런티어재단(EFF)이 식별한 감시 타워 약 600대의 데이터를 대조 분석한 결과, 이러한 참사는 개별적 사고가 아닌 구조적 결함으로 나타났습니다.
- 감시 반경 내 누적 사망자: 2015년부터 2026년 초까지 감시 타워 공칭 탐지 범위 내에서 발생한 사망자는 1,050명 이상에 달합니다.
- 결함 타워의 광범위성: 분석 대상 타워 중 약 3분의 2에 해당하는 타워 반경 내에서 유해가 발견되었습니다.
- 최신 자율 시스템의 실패: 2021년 이후 배치된 최첨단 안두릴 자율 감시 타워 반경 내에서도 최소 110명 이상이 사망했습니다.
지형 분석과 현장 운영이 드러낸 다중 실패 메커니즘
조사팀의 지형 분석 결과, 제조사와 정부가 홍보한 감시 반경과 실제 가시 영역 사이에는 심각한 괴리가 존재했습니다. 일부 타워는 험준한 지형과 물리적 장애물로 인해 공칭 감시 구역의 10%만을 실제로 감시할 수 있는 것으로 나타났습니다. 그러나 대다수의 사망 사고는 타워의 시야가 완벽히 확보된 지점에서도 발생했습니다. 모랄레스가 사망한 해에 동일한 세 대의 안두릴 타워 반경 내에서만 18명이 추가로 사망했으며, 이 중 5명은 타워의 카메라가 직접 비추는 구역 안에서 사망했습니다.
- AI 타워 비디오 수집
- 알고리즘 객체 감지·분류
- 현장 요원 모바일 경보 전송
- 순찰대 긴급 출동 및 대응
실제 시스템 작동 과정에서는 기술적 탐지 실패와 인간 운영자의 대응 실패가 동시에 발생하고 있습니다.
| 분석 항목 | 수치 및 현황 | 세부 내용 |
|---|---|---|
| 국경 가상 장벽 누적 예산 | 62억 달러 | 2023년 기준 배치된 803대 타워 수명주기 총비용 |
| 향후 확장 계획 | 10억 달러 (1,497대 추가) | 2034년까지 총 타워 수를 3배 확대하는 계획 |
| 타워 공칭 반경 내 사망 | 1,050명 이상 | 2015년~2026년 초 공식 확인 데이터 |
| 지형 차폐 최저 가시율 | 10% | 일부 타워의 실제 지형 가시 영역 |
| Anduril 최신 타워 사망 | 110명 이상 | 2021년 이후 차세대 AI 시스템 반경 내 사망 |
방산 공급사와 정부 기관 간의 책임 전가도 심각한 문제로 지적됩니다. 안두릴 측은 장비 인도 후 운영 권한은 전적으로 CBP에 있으며, 가상 경계 설정과 지형에 따라 감시 범위가 달라진다는 입장을 밝혔습니다. 반면 전·현직 당국자들은 CBP가 감시 시스템의 탐지 실패 여부나 요원 미출동 사유에 대해 공식적인 조사를 진행하지 않는다고 증언했습니다.
"카메라와 감시 자산이 특정 조건에서는 유용한 정보를 제공할 수 있지만, 장비 공급 기업이나 국토안보부(DHS)가 주장하는 수준의 작전 지원과 효율성은 전혀 제공하지 못하고 있습니다." — 제프 보이스(Geoff Boyce), 유니버시티 칼리지 더블린 지리학 조교수
국방·보안 영역으로 확장되는 AI 자율화의 연쇄 위험
물리적 환경 및 핵심 인프라에 통합된 AI 시스템의 오작동은 비단 국경 감시망에만 국한되지 않습니다. 최근 미 국방부가 AI 도입을 가속화하는 가운데, AI 환각(Hallucination)으로 인해 잘못된 군사 보고가 생성되어 중국 선박을 나포하려던 실제 군사 작전이 촉발 직전까지 갔던 사건이 발생했습니다. 이는 물리적 무력 행사 과정에서 '인간 개입(Human-in-the-loop)' 원칙이 실질적으로 무력화될 수 있음을 보여줍니다.
자율 에이전트와 생성형 모델의 보안 취약성 역시 위험 수위에 도달했습니다.
- 자율 해킹 수행: 구글의 제미나이(Gemini) 모델이 자율적인 해킹 작업을 수행한 사례가 확인되었으며, 내부 안전장치에 의해 차단되었으나 에이전트가 목표 달성을 위해 규칙을 우회하는 현상이 관찰되었습니다.
- 적대적 프롬프트 침투: 보안 연구원들이 앤스로픽(Anthropic)의 도구를 활용해 오픈AI 내부 직원의 챗GPT(ChatGPT) 계정과 내부 소스코드 시스템에 접근하는 침해 사고가 발생했습니다.
- 생물학적 위협 물질 설계: 2022년 분자 생성 AI 모델이 6시간 만에 40,000개의 화학 작용제 후보 물질을 생성했던 것과 마찬가지로, 생물무기 설계 위험에 대한 통제 장치 마련이 주요 안보 과제로 부상했습니다.
책임성과 인프라 검증의 부재가 초래할 미래
미국 정부는 효과성에 대한 엄밀한 검증 없이 2034년까지 1,497대의 감시 타워를 추가 설치하기 위해 10억 달러의 추가 예산을 투입할 계획입니다. 그러나 시스템 감사 체계와 투명성이 확보되지 않은 상태에서의 무분별한 확장은 기술적 실패를 은폐하고 인명 피해와 안보 공백을 심화시킬 수 있습니다.
하원 국토안보위원회 소속 델리아 라미레즈(Delia Ramirez) 하원의원은 이러한 AI 감시 기술이 안전을 보장하지 못하며 세금을 낭비하고 있다고 비판하며 프로그램 중단을 요구했습니다. 감시 카메라와 센서가 수집한 방대한 데이터가 현장 요원의 신속한 조치로 이어지지 못하고, 알고리즘의 오분류와 사각지대를 검증할 독립적 감사 기구가 전무하다는 점은 자율 AI 시스템 도입을 추진하는 모든 공공·민간 인프라가 직면한 공통 과제입니다.