서론
AI 기술의 발전과 함께, AI 에이전트의 신뢰성 문제는 점점 더 중요한 이슈로 떠오르고 있습니다. Microsoft의 ThinkingBox는 이러한 문제를 해결하기 위해 AI 에이전트를 평가하는 새로운 방식을 제시합니다. 이 시스템은 AI가 생성한 문장이 아닌, AI가 남긴 기록과 상태를 기반으로 성능을 평가합니다. 이를 통해 AI 에이전트가 실제 비즈니스 환경에서 얼마나 신뢰할 수 있는지를 판단할 수 있습니다.
ThinkingBox의 작동 원리
ThinkingBox는 AI 에이전트를 507개의 비즈니스 워크플로우에서 20번 반복 실행하여 평가합니다. 각 실행에서 AI는 특정 작업을 수행하고, 그 결과로 남긴 데이터베이스 상태와 부작용을 분석합니다. 예를 들어, 고객이 배송 지연에 대한 문의를 했을 때, AI는 여러 도구를 호출하여 정보를 수집하고, 최종적으로 고객에게 응답합니다. 그러나 이 과정에서 데이터베이스의 상태가 여전히 '보류'로 남아 있다면, AI는 실제로 고객의 질문에 대한 답변을 제공하지 못한 것입니다. > "AI 평가자는 도구 호출이 잘 이루어졌는지를 확인하지만, 데이터베이스는 여전히 불일치를 보입니다."
성능 평가 및 결과
ThinkingBox는 121,680개의 유효한 시험을 통해 AI 에이전트의 성능을 평가하였습니다. 이 과정에서 79,853회의 시도가 실행 가능한 체크를 통과하지 못했습니다. 특히, 67.24%의 경우는 정상적으로 종료되었지만, 잘못된 필드 값이 발견된 경우가 77.61%에 달했습니다. 이는 AI 에이전트가 겉으로는 정상적으로 작동하는 것처럼 보일 수 있지만, 실제로는 신뢰할 수 없는 결과를 초래할 수 있음을 의미합니다.
| 모델 | 입력 $/1M | 출력 $/1M |
|---|---|---|
| GPT-5.4 | 43.49 | 65.36% |
| Claude Opus 5.5 | 0.276 | 67.16% |
| Kimi-K3 | 0.127 | 93.89% |
일관성의 중요성
AI 에이전트의 신뢰성을 평가할 때, 단일 성공 사례는 충분하지 않습니다. ThinkingBox는 각 작업을 20번 독립적으로 실행하여 얼마나 많은 작업이 일관되게 성공하는지를 측정합니다. 예를 들어, Kimi-K3 모델은 507개의 작업 중 476개를 최소 한 번 성공했지만, 20번 모두 성공한 작업은 68개에 불과했습니다. 반면, Claude Opus 5는 241개의 작업에서 모든 시도에서 성공했습니다. 이는 AI 모델의 성능이 단기적인 성공에 그치지 않고, 장기적인 신뢰성을 요구한다는 점을 강조합니다.
비용 효율성 분석
AI 모델을 선택할 때, 성공적인 작업의 비용도 중요한 요소입니다. ThinkingBox는 각 모델의 성공적인 작업 시도당 비용을 측정하였습니다. 예를 들어, GPT-5.4는 507개의 시도에서 65.36%의 성공률을 보이며, 성공적인 작업 시도당 약 $0.131의 비용이 발생합니다.
| 모델 | 성공적인 작업 시도당 비용 |
|---|---|
| GPT-5.4 | $0.131 |
| Claude Opus 5.5 | $7.80 |
| Kimi-K3 | $7.45 |
결론
ThinkingBox는 AI 에이전트의 신뢰성을 평가하는 새로운 기준을 제시합니다. AI의 성능은 단순히 문장을 생성하는 것이 아니라, 실제 비즈니스 환경에서의 일관성과 신뢰성을 기반으로 해야 합니다. 따라서 기업은 AI 모델을 선택할 때, 단기적인 성공률뿐만 아니라 장기적인 신뢰성을 고려해야 합니다.