서론
최근 인공지능(AI) 기술이 발전함에 따라, LLM(대형 언어 모델) 에이전트는 단일 검색 결과에서 정보를 읽는 것을 넘어 다양한 도구를 활용하여 정보를 수집하고 있습니다. 이러한 변화는 정보의 출처와 사실성을 검증하는 방식에 새로운 도전을 제기하고 있습니다. Hugging Face의 최신 연구에서는 MCP(Model Context Protocol)를 기반으로 한 LLM 에이전트의 출처 인식 검증 기술인 ProvenanceGuard를 소개하였습니다. 이 기술은 정보의 출처를 명확히 하여 잘못된 출처 귀속 문제를 해결하는 데 중점을 두고 있습니다.
MCP와 출처 인식 검증의 필요성
MCP는 LLM 에이전트가 여러 도구를 호출하고, 구조화된 데이터 및 메타데이터를 수집하여 하나의 답변으로 엮어내는 프로토콜입니다. 그러나 이러한 과정에서 정보의 출처가 모호해질 수 있으며, 이는 잘못된 정보 전달로 이어질 수 있습니다. 예를 들어, 고객 지원 에이전트가 "계정 기록에 따르면 이 계획은 30일 환불 기간을 포함합니다"라고 답변할 경우, 환불 기간이 정책 문서에 명시되어 있지만 계정 기록에 없을 수 있습니다. 이처럼 출처가 잘못 귀속될 경우, 정보의 신뢰성이 크게 저하됩니다. ProvenanceGuard는 이러한 문제를 해결하기 위해 출처 인식 검증을 도입하였습니다.
ProvenanceGuard의 작동 방식
ProvenanceGuard는 LLM 에이전트가 답변을 생성한 후에 작동하는 검증 레이어입니다. 이 시스템은 다음과 같은 과정을 거칩니다:
- 주장 분해: 생성된 답변을 개별 주장으로 나누고,
- 출처 확인: 각 주장에 대해 가장 관련성이 높은 출처를 찾고,
- 지원 여부 확인: 해당 출처가 주장을 실제로 지원하는지 검증하며,
- 출처 비교: 주장이 명시한 출처와 실제 출처를 비교합니다.
- 결과 출력: 각 주장에 대한 출처 판별과 전체 답변의 허용 또는 차단 결정을 내립니다.
이 과정에서 ProvenanceGuard는 출처의 정체성을 유지하며, 이를 통해 데이터의 신뢰성을 높입니다. 연구에서는 ProvenanceGuard가 281개의 실제 사례를 분석하여 138개의 잘못된 주장을 정확히 차단하였고, 86%의 정확도로 올바른 출처를 식별하였습니다.
실험 결과 및 성과
ProvenanceGuard의 성능은 다른 출처 인식 검증 시스템과 비교하여 우수한 결과를 보였습니다. 예를 들어, 다른 시스템들은 주장이 지원되는 출처를 명시하지 않았지만, ProvenanceGuard는 각 주장에 대해 검증된 출처를 기록하여 리뷰어가 쉽게 확인할 수 있도록 하였습니다. 이 연구에서 ProvenanceGuard는 361개의 주장 중 139개가 통과해서는 안 된다고 판단하였고, 138개를 정확히 차단하였습니다. 이는 데이터 민감성이 높은 환경에서 출처의 정확성을 확보하는 데 중요한 성과입니다.
결론
ProvenanceGuard는 LLM 에이전트의 출처 인식 검증을 통해 정보의 신뢰성을 높이는 데 기여하고 있습니다. 이 기술은 의료 분야와 같이 데이터의 출처가 중요한 분야에서 특히 유용하게 적용될 수 있습니다. Multiverse Computing과 같은 기업들은 ProvenanceGuard를 통해 기존 에이전트를 검증하고, 민감한 데이터를 안전하게 관리할 수 있는 방법을 모색할 수 있습니다. 앞으로도 출처 인식 검증 기술의 발전이 기대됩니다.