CX AI 데모는 잘 작동했는데, 왜 실제 운영 환경에서는 문제가 발생했을까요?

제프 트로페아노 

AI에 관한 논의는 대개 패턴 인식과 생성에서 시작해 추론, 자율성, 조율, 적응에 이르는 ‘기능 단계’를 따라 전개됩니다. 이러한 분류 체계는 공급업체들이 제품을 홍보하고 언론이 기사를 작성하는 방식입니다. 하지만 이는 고객 경험(CX) 담당자에게 가장 유용한 관점은 아닙니다. 어떤 도구가 ‘사고 연쇄 추론’을 사용한다는 사실을 안다고 해서, 그것이 고객에게 도움이 될지 여부는 전혀 알 수 없기 때문입니다.

더 중요한 질문은 AI가 여러분의 업무 운영에서 어떤 역할을 맡게 될지입니다. 

고객 경험(CX)을 위한 AI는 단순히 기술을 도입하는 것처럼 보일 수 있지만, 실제로는 대개 운영 모델의 재설계가 수반됩니다. 특히 CX를 위한 생성형 AI의 경우, 지식의 부족, 불분명한 가이드라인, 그리고 단절된 고객 여정이 금세 드러나기 때문에 더욱 그렇습니다.

기술은 좋은 점은 더 좋게, 나쁜 점은 더 나쁘게 만듭니다. CX AI가 제대로 작동하지 않는 고객 여정, 구식 지식, 또는 미흡한 거버넌스 환경에 도입되더라도, 이러한 문제들을 해결하지는 못합니다. 오히려 그 문제를 확대시킬 뿐입니다.

COPC Inc.는 다음 여섯 가지 영역을 살펴봅니다. 영향: 인재 유치 및 육성, 실시간 상호작용 지원, 고객 역량 강화, 데이터 분석 및 통찰력 도출, 운영의 안정화 및 최적화, 그리고 새롭게 부상하고 있는 분야인 체화형 AI 및 로봇공학. 특정 영역을 선택한 다음, 그 분야에서 ‘좋은 모습’이 무엇인지 질문해 보십시오. 이것이 이 시리즈의 나머지 내용을 이해하는 기본 틀이 됩니다.

출시 후 CX AI의 성과가 저조한 이유 

대부분의 AI 도입은 합리적인 목표에서 시작됩니다. 처리 속도 향상, 수비력 강화, 더 나은 커버리지, 일관성 있는 코칭, 서비스 비용 절감 등이 바로 그것입니다. 이러한 목표 중 어느 것도 무리한 것은 아닙니다. 문제는 조직이 도구가 저절로 그러한 성과를 내주기를 기대할 때 발생합니다.

거의 그런 일이 없죠.

실제로, 약속과 성과 간의 격차는 대개 두 가지 원인에서 비롯됩니다. 첫째, 조직이 고객 및 상담원 경험에서 ‘양호한’ 수준이 어떤 모습이어야 하는지 명확히 정의하지 않았기 때문입니다. 둘째, 도구가 정식 가동된 후 이를 지원할 운영 체계가 준비되어 있지 않기 때문입니다.

그래서 실제 문제는 도구의 설계에 있는데도, 출시 과정의 문제만 AI 탓으로 돌리는 셈입니다.

데모만으로는 운영 모델을 알 수 없다 

실제 배포 환경에서는 데모에서는 전혀 나타나지 않는 부분에서 오류가 발생하는 경우가 많습니다. 

지식 기반이 존재할 수는 있지만, 그 내용은 구식이거나 불완전하거나 일관성이 없을 수 있습니다. 시스템은 잘못된 입력 데이터를 바탕으로 학습하여 잘못된 답변을 내놓게 됩니다. AI를 도입한 후, 많은 조직은 실제로 사용할 만한 지식 기반이 전혀 없다는 사실을 깨닫게 됩니다. 

다음은 기술적 실패처럼 보이지만, 흥미롭게도 그렇지 않은 사례입니다! 한 기업이 자사의 챗봇에 고객 계약서 접근 권한을 부여했습니다. 이는 올바른 결정이었습니다. 계약 관련 질문에 답변하기 위해 만들어진 봇에게 계약서를 숨길 이유는 전혀 없기 때문입니다. 데이터는 정확했고, 답변도 정확했습니다. 봇은 고객이 계약을 해지하는 방법을 올바르게 설명했습니다. 봇은 설계된 대로 정확히 작동했습니다. 문제는 행동 지침에 있었습니다. 누구도 챗봇이 무엇을 해야 하고 하지 말아야 하는지는 결정하지 않았으며, 단지 무엇을 할 수 있는지에 대해서만 정했을 뿐입니다. 가장 유혹적인 해결책은 챗봇의 계약서 접근 권한을 철회하는 것입니다. 하지만 이는 핵심을 놓치는 것이며, 오히려 챗봇의 업무 수행 능력을 저하시킵니다. 올바른 해결책은 행동을 규율하는 지침을 마련하는 것입니다. 즉, 챗봇은 계약 내용을 설명할 수 있으며, 해지 요청은 고객 유지 담당 부서로 전달해야 합니다. 올바른 데이터, 정확한 출력, 그러나 행동 정책 부재. 이 세 가지 중 두 가지는 운영 사고로 이어집니다.

또한 아무도 설계 시 고려하지 않았던 극단적인 사례에서 비롯된 문제들도 발생합니다. QA 플랫폼은 전반적으로는 잘 작동할지 몰라도, 실제 운영 환경에 적용되면 브랜드명, 제품 용어 또는 전문 용어 처리에서 어려움을 겪을 수 있습니다. 이는 사소한 문제처럼 들릴 수 있습니다. 하지만 대규모로 적용될 경우, 오전사는 분석 결과, 코칭, 그리고 비즈니스 의사결정을 왜곡할 수 있습니다.

이는 리더들이 생성형 AI를 고객 경험(CX) 분야에 확대 적용하기 전에 반드시 검증해야 할 부분입니다.

주목해야 할 5가지 실패 유형

COPC 활동 전반에 걸쳐, 다음과 같은 문제들이 끊임없이 반복적으로 나타납니다:

1. 중단된 여정과 절차
2. 부실한 데이터 기반 
3. 서로 맞지 않는 기대치와 평가 지표
4. 과소평가된 변화 관리 
5. 거버넌스 격차

다음은 CX용 AI가 운영을 개선할지, 아니면 복잡성을 한층 더 가중시킬지를 결정하는 요건들입니다. 

추가 확장을 진행하기 전에 해결해야 할 사항

CX를 위해 AI를 활용해 실질적인 성과를 거두는 팀들은 초기 단계에서 정리 작업을 철저히 수행합니다. 이들은 고객 여정을 점검하고, 지식을 테스트하고. 고객과 상담원 모두에게 ‘좋은 결과’가 무엇인지 정의합니다. 또한 누가 결과물을 검토할지, 어떤 사안을 상급자에게 보고할지, 그리고 성공을 어떻게 측정할지 결정합니다.

이 작업이 중요한 이유는, AI가 일단 일상 업무의 일부가 되면 수정하기가 훨씬 더 어려워지기 때문입니다. 지식의 부족은 부실한 답변을 낳고, 중단된 고객 여정은 더 큰 혼란을 야기합니다. 서둘러 서비스를 출시하면 상담원, 관리자, 품질 관리 팀이 뒤처진 상황을 따라잡느라 애를 먹게 됩니다.

이 도구를 중심으로 한 운영 모델이 바로 많은 CX AI 프로그램이 난관에 부딪히는 지점입니다.

더 자세한 내용을 알아보시려면 COPC 실행 가이드인 『 AI in CX, 2026: 통제력을 잃지 않으면서 컨택 센터 기술 스택을 현대화하는 방법』을 다운로드하여 , AI 도입, 거버넌스, 아키텍처, 역할 및 로드맵 결정 사항을 평가할 수 있는 실용적인 프레임워크를 확인해 보시기 바랍니다.