개요
Qlik은 데이터 통합, 품질, 분석 및 AI 분야의 글로벌 리더로서 Amazon Bedrock을 활용한 기업 규모의 grounding AI 솔루션인 Qlik Answers를 구축했습니다. 본 글은 해당 솔루션이 어떤 문제를 해결했는지, 어떻게 설계되었는지, 그리고 어떤 measurable한 결과를 도출했는지 원문 사실을 바탕으로詳しく 설명합니다.
문제 정의
기업 내 직원들은 데이터가 부족한 것이 아니라, 데이터를 신속히 질의하고 신뢰할 수 있는 답변을 얻는 데 어려움을 겪고 있습니다. 분석가는 문서, 대시보드, 조직 내 기억을 수시간 동안 탐색해야 하는 반면, 동료는 한 문장으로 질문할 수 있습니다. 기존 생성형 AI 접근 방식은 출처가 없거나 검증할 수 없으며, 규제 환경에서의 배포가 어렵다는 한계를 가졌습니다. Qlik은 이러한 세 가지 문제를 동시에 해결해야 했습니다.
1. 전문적인 추론을 오케스트레이션하면서도 응답 속도를 저하시키지 않기 2. 유럽, 아시아·태평양, 아메리카 지역별 데이터 주권 요구사항을 충족하면서도 단일 글로벌 배포 모델을 피하기 3. 주요 출시 3~6개월 전에 토큰 소비와 모델 가용성을 예측하고 실제 사용과 비교하여 용량 문제를 방지하기
아키텍처 설계
Qlik Answers는 단일 거대 어시스턴트가 아닌 명확한 아키텍처 경계 주변으로 구축되었습니다. 각 계층은 특정 책임을 가지며, 이로 인해 새로운 전문 에이전트를 추가해도 기존 오케스트레이션 모델을 변경할 필요가 없습니다.
- 입 계층 : Qlik Cloud 내 안정적인 대화 진입점으로, 백엔드 기능이 추가되어도 고객 상호작용 방식이 바뀌지 않습니다.
- 라우팅 계층 : 사용자 메시지와 대화 컨텍스트를 읽어 요청이 어디로 가야 하는지를 빠르고 정확하게 결정하는 경량 레이어이며, 작업 자체를 해결하지는 않습니다.
- 답변 계층 : 라우팅 후 응답 생성을 조정하며, 간단한 요청은 빠른 경로를, 복잡한 질문은 하위 질문으로 분해하여 여러 소스를 끌어오는 신중한 경로를 선택합니다.
- 전문 에이전트 계층 : 공유 스와름 런타임을 정의하여 전문 에이전트, 도구, 상태 및 인간‑인‑더‑루프 단계가 어떻게 작동하는지를 표준화함으로써 신규 에이전트가 자체 오케스트레이션 모델을 발명할 필요가 없습니다.
- 대화형 분석 계층 : 구조화된 데이터 질문을 분석에 특화된 reasoning 경로로 라우팅하여 일반 텍스트 생성이 아닌 앱‑인식 분석을 수행합니다.
- 검색 계층 : 비정형 문서 색인 및 검색은 Amazon OpenSearch Service에서 이루어지며, 이는 지식 기반 및 문서 질문에 대한 Qlik Answers의 답변을 근거화하는 콘텐츠를 저장·검색합니다.
- 모델 접근 계층 : Qlik 자체 LLM 게이트웨이를 통해 Amazon Bedrock에 연결되어 채팅, 스트리밍, 임베딩, 재랭킹을 제공하며, 모든 요청·응답에 Amazon Bedrock Guardrails를 적용합니다. 특정 모델이 해당 리전에서 아직 이용 불가능할 경우 Qlik은 해당 워크로드를 Amazon SageMaker AI에서 호스팅하고, 리전 가용성이 확보되면 다시 Bedrock으로 이전합니다.
구현 세부사항
Grounding 및 검증
답변 계층은 질문의 유형에 따라 구조화된 앱 메타데이터, 지식 기반 콘텐츠, 용어집 정의, 자동화 컨텍스트, 문서 콘텐츠 등을 끌어옵니다. 답변 요소가 모두 반환된 후 전체 응답을 조립하여 사용자에게 제시합니다. 단독 검색만으로는 정확성을 보장할 수 없으므로 Qlik은 생성된 답변을 소스 내용과 비교하는 grounding‑validation 검사를 Amazon Bedrock Guardrails의 contextual grounding 기능을 이용해 수행합니다. 이를 통해 grounding은 단순한 검색 단계에서 생산 단계의 검증된 제어로 전환됩니다.
- 비정형 질문의 경우 Amazon OpenSearch Service에서 질문‑특정 콘텐츠를 검색하고 해당 컨텍스트를 최종 답변에 전달하여 인용을 포함시킵니다.
- 정형 질문의 경우 대화형 분석 경로로 작업을 넘깁니다.
- 용어집 조회, 자동화, 문서 요약과 같은 추가 기능은 기능 제어와 함께 단계적으로 출시되어 기본 경험을 destabilize하지 않습니다.
보안 및 규정 준수
Amazon Bedrock Guardrails를 통해 다음 사항을 필터링합니다.
- 프롬프트 인젝션
- 개인 식별 정보(PII)
- 보안 비밀
- 금지된 주제
또한 생성된 모든 답변에 대해 grounding‑validation 검사를 수행하여 출처 기반 답변만을 보장합니다.
고객 사례
Bystronic
글로벌 시트 메탈 처리 전문 기업인 Bystronic은 Qlik Answers를 이용해 15분 만에 AI 챗봇을 배포했습니다. 이를 통해 직원들은 실시간 운영 데이터를 질의하고 부서 간에 출처가 있는 답변을 얻을 수 있게 되었습니다.
Lintech International
Lintech는 기술 문서 17,000여 건을 Qlik Answers에 색인화했습니다. 그 결과 manual research 시간이 크게 줄었고 응답 시간이 75% 단축되어 관리자 한 명당 주당 최대 7시간을 되찾게 되었습니다.
TouchPoint Support Services
650개의 의료 현장을 지원하고 규모를 두 배로 늘리려는 목표를 가진 TouchPoint는 Qlik Answers를 활용해 규제가 엄격하고 빠르게 변화하는 환경에서 일하는 15,000명의 직원에게 신속하고 규정 준수에 부합하는 지침을 제공합니다.
성능 및 영향
아래 표는 공개된 주요 지표를 정리한 것입니다.
| 지표 | 값 | 출처 |
|---|---|---|
| 전 세계 고객 수 | 40,000+ | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
| Discovery Agent 발견 건수 | 100,000+ | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
| Lintech 색인 문서 수 | 17,000+ | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
| 응답 시간 단축 비율 | 75% | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
| 주간 절약 시간 (관리자) | 7시간 | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
| 의료 기관 사이트 수 | 650 | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
| 의료 직원 수 | 15,000 | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
| 챗봇 배포 시간 | 15분 | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
| 모델 용량 예측 기간 | 3~6개월 | https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/ |
차트: 주요 규모 지표 비교
| 고객 수 | 40000 |
| 발견 건수 | 100000 |
| 색인 문서 수 | 17000 |
위 차트는 동일한 단위(건수)로 전 세계 고객 수, Discovery Agent가 만든 발견 건수, Lintech이 색인한 문서 수를 비교합니다.
흐름도: 질문 처리 과정
- 입 계층
- 라우팅 계층
- 답변 계층
- 전문 에이전트 계층
- 대화형 분석 계층
- 검색 계층
- 모델 접근 계층
이 흐름도는 사용자 질문이 어떻게 각 계층을 통과하여 최종 grounding된 답변으로 귀결되는지를 보여줍니다.
목록: Qlik Answers의 핵심 계층 요약
- 입 계층 : 안정적인 대화 진입점
- 라우팅 계층 : 빠른 요청 분산
- 답변 계층 : grounding 및 검증 조정
- 전문 에이전트 계층 : 공유 스와름 런타임 기반 에이전트 확장
- 대화형 분석 계층 : 구조화된 데이터 질의 전용 경로
- 검색 계층 : Amazon OpenSearch Service 기반 비정형 문서 검색
- 모델 접근 계층 : Amazon Bedrock LLM 게이트웨이 및 Guardrails 적용
"Building grounded AI on Amazon Bedrock, Qlik Answers tackles a common enterprise problem: employees aren’t short on data. They are short on a fast way to ask a real question of it and get an answer they can trust."
grounding 및 보안
Qlik Answers는 답변 생성 단계에서 Amazon Bedrock Guardrails의 grounding‑validation 기능을 활용하여 모든 답변이 소스 내용과 일치함을 검증합니다. 이를 통해 환각(hallucination) 위험을 크게 줄이고, 출처가 명시된 답변만을 제공합니다. 또한 동일 Guardrails를 통해 프롬프트 인젝션, PII 노출, 비밀 유출, 금지된 주제 등을 사전에 차단함으로써 규제 산업에서도 안심하고 사용할 수 있는 환경을 조성합니다.
모델 관리 및 지역 확장
모델 가용성이 지역별로 차이나는 문제를 해결하기 위해 Qlik은 자체 LLM 게이트웨이를 통해 Amazon Bedrock에 접근하고, 해당 리전에서 모델이 아직 제공되지 않을 경우 Amazon SageMaker AI에서 해당 워크로드를 임시로 호스팅합니다. 리전 내 모델 가용성이 확보되면 다시 Bedrock으로 워크로드를 환원함으로써 일관된 성능과 최신 모델 접근성을 유지합니다. 이와 함께 출시 전 3~6개월 동안 토큰 소비와 모델 용량을 예측하고 실제 사용량과 대조하여 용량 부족을 사전에 방지합니다.
시사점
Qlik Answers의 사례는 기업이 생성형 AI를 도입할 때 단순히 모델 성능만을 고려해서는 안 된다는 점을 보여줍니다. grounding 메커니즘, 아키텍처 모듈화, 보안 필터링, 지역별 모델 관리 등을 종합적으로 설계해야만 실제 업무 현장에서 신뢰성과 확장성을 동시에 달성할 수 있습니다. 특히 Amazon Bedrock Guardrails를 통한 출처 검증과 Amazon OpenSearch Service 기반 검색 파이프라인은 비정형 문서에 대한 질의응답 시스템을 구축하는 데 중요한 참고 모델이 됩니다.
참고
- 원문: https://aws.amazon.com/blogs/machine-learning/how-qlik-built-grounded-enterprise-scale-ai-with-amazon-bedrock/