서론
AI 기술이 급속도로 발전하고 있는 가운데, 대형 언어 모델(LLM)의 한계가 드러나고 있습니다. 특히, LLM은 인간의 사고 방식과는 다른 방식으로 작동하며, 진정한 추론 능력이 결여되어 있다는 점이 문제로 지적되고 있습니다. 본 리포트에서는 AlphaGo의 구조와 LLM의 차이를 비교하여 AI의 추론 능력 부족 문제를 심층적으로 분석하겠습니다.
AlphaGo의 구조와 추론 능력
2016년, AlphaGo는 세계적인 바둑 기사 이세돌과의 대결에서 4-1로 승리하며 큰 화제를 모았습니다. 이 대결에서 AlphaGo는 37번째 수를 두었을 때 많은 이들이 이를 기계적 결함으로 오해했으나, 이는 AlphaGo의 창의적인 선택이었습니다. AlphaGo는 두 가지 시스템으로 구성되어 있습니다. 첫 번째는 정책 네트워크로, 강력한 인간 플레이어가 어떤 수를 둘지를 예측하도록 훈련되었습니다. 두 번째는 검색 기계로, 이는 제안된 수의 미래 결과를 평가하는 역할을 합니다. 이 두 시스템이 결합되어 AlphaGo는 창의적인 결정을 내릴 수 있었습니다.
“AlphaGo는 기계적 직관의 순수한 플래시로 묘사되지만, 이는 오해입니다.”
LLM의 한계
현재의 LLM은 다음 단어를 반복적으로 예측하는 방식으로 작동합니다. 이는 빠르고 연상적인 시스템 1의 작용으로 볼 수 있습니다. 그러나 LLM은 AlphaGo의 검색 기계와 같은 별도의 추론 메커니즘을 갖추고 있지 않습니다. LLM의 중간 추론 과정은 여전히 동일한 다음 토큰 예측 프로세스에 의해 생성되며, 이는 진정한 추론으로 간주될 수 없습니다. LLM의 세 가지 주요 단점은 다음과 같습니다:
- 지속적이고 검사 가능한 인식 상태가 없습니다. 모델이 고려하는 가설, 신뢰도, 증거 등을 명시적으로 기록하지 않습니다.
- 지식과 추론의 분리가 부족합니다. 지식과 추론이 신경망의 가중치에 얽혀 있어 독립적으로 표현되지 않습니다.
- 사후 생성된 추론이 많습니다. 모델이 한 경로로 결론에 도달한 후, 다른 경로를 보고하는 경우가 많습니다.
AI의 미래와 필요성
AI가 의학, 공학, 과학 연구 등 고위험 분야에서 신뢰할 수 있는 결론을 도출하기 위해서는 AlphaGo와 같은 구조를 채택해야 합니다. AI 시스템은 다음과 같은 요소를 갖추어야 합니다:
- 지식의 기록: 시스템은 자신이 알고 있는 것, 의심하는 것, 배제한 것 등을 기록해야 합니다.
- 증거에 기반한 신뢰도 업데이트: 각 결정은 실제로 불확실성을 해결하는 정도에 따라 평가되어야 합니다.
- 과학적 방법론의 적용: AI는 과학적 방법을 통해 지식을 생산하고, 이를 검증할 수 있어야 합니다.
결론
AI의 진정한 발전은 단순히 시스템 1을 확장하는 것이 아닙니다. AlphaGo의 사례에서 볼 수 있듯이, AI는 창의적인 결정을 내릴 수 있는 구조를 갖추어야 합니다. 이는 약물 발견, 기후 변화, 진단 등 다양한 분야에서 필수적입니다. AI가 신뢰할 수 있는 지식을 생산하기 위해서는, 증거, 추론, 신념 수정의 감사 가능한 순서를 통해 결론에 도달해야 합니다.