사람 대신 답하는 AI, 스타트업의 첫 번째 고객이 될 수 있을까

창업자에게 가장 치명적인 질문은 아마 “이 프로덕트를 정말 고객이 사용할까?”일 것입니다. 열심히 만들어놓은 제품이 막상 출시된 후 아무도 사용하지 않으면 낭패일 테니까요. 이를 예방하기 위해 많은 스타트업은 철저하게 준비합니다.

자신이 고객으로 설정한 사람들에게 설문조사를 돌리거나 직접 인터뷰를 해보기도 하고, 때로는 A/B 테스트를 하면서 사람들의 선호도를 직접 확인하고자 하죠. 하지만 때로는 이러한 시도를 현실의 벽이 가로막는 경우도 있습니다. 시간이나 돈, 사람이 부족하기 때문입니다.

특히 초기 스타트업에게는 이러한 상황이 더욱 난감합니다. 고객 데이터가 없으니 제품 개발 방향을 어려워하기도 하고, 그러다보니 실제로 출시했을 때 몇 안 되는 고객의 만족도가 떨어집니다. 사용자를 추가로 모으기 어려워지면 다시 데이터가 부족한 상황을 맞닥뜨리고, 이를 개선하기 위해 결국 창업자의 직관에 의존하게 되는 상황이 반복됩니다.

어떻게 하면 이러한 순환에서 벗어날 수 있을까 고민하던 중, 한 가지 질문이 떠올랐습니다.

수많은 사람들의 소비 패턴과 데이터를 학습한 AI가
사람을 대신하여 해답을 줄 수는 없을까요?

스타트업을 위한 미스터리 쇼퍼, AI 챗봇

최근에 발표된 한 연구는 지금 스타트업들이 직면한 문제의 실마리를 찾아줄 실험을 진행했습니다. 아무것도 추가로 학습시키지 않은 일반 LLM을 활용해 소비자 설문조사를 대신할 수 있는지 알아본 것인데요. 연구팀은 몇 번의 시행착오 끝에 AI로부터 현실에서도 유의미한 답변을 얻어내는 방법을 찾아냈습니다.

일반적인 고객 설문조사는 1점부터 5점까지의 점수 체계 안에서 선호도에 따라 점수를 매기는 방식으로 의견을 묻습니다. 하지만 이러한 방식으로 진행하면 극단을 피하고 중간으로 수치가 쏠리는 중간 편향이 발생합니다. 인간 설문자도 이러한 경향이 있지만, AI의 경우 그러한 경향성이 더욱 두드러지죠.

연구에서는 그 대신 AI에게 서술형으로 의견을 물어본 뒤, 그 답변을 미리 준비한 5개의 기준 문장과 의미상으로 얼마나 비슷한지 계산해서 점수로 변환해 봤습니다. 이를 '의미적 유사성 평가(SSR)'라고 부르는데요. 놀랍게도, 이 방법을 쓰자 AI 응답이 실제 사람들이 같은 설문을 두 번 할 때의 신뢰도 수준인 90%까지 도달했고, 응답 분포 패턴도 실제와 85% 이상 비슷하게 나왔습니다.

과거에는 매장의 운영 상황을 알아보기 위해 손님처럼 위장한 본사 직원이 ‘미스터리 쇼퍼’로 활동했다면, 이제는 스타트업을 위해 손님처럼 위장하여 행동하는 ‘미스터리 쇼퍼’가 등장한 셈입니다. 제로샷 AI 고객 시뮬레이션*이라는, 막대한 비용을 줄이면서도 실질적으로 도움이 되는 고객 조사의 가능성을 찾은 것이죠.

*제로샷 : 사전 학습된 일반 지식을 활용하여, 새로운 작업에 대해 별도의 예시 없이 바로 예측하거나 수행하는 기술

그렇다면 연구실 밖에서는 AI가 어떤 성과를 보여주고 있을까요? 현장 사례를 중심으로 조금 더 알아보겠습니다.

AI, 고객 테스트를 부탁해

AI는 인간이 충분한 시간과 비용을 들이면 해낼 수 있는 일을, 획기적으로 빠르게 수행해 준다는 점에서 아주 유용한 도구로 일상에 스며들었는데요. 산업 현장에서도 이 AI 효율화 트렌드를 도입하려는 시도가 이어지고 있습니다.

주로 제품 개발·개선 단계에서 AI를 통해 고객 경험을 예측해 보는 데 활용되고 있는데요. 아직은 제한적인 수준이지만, 사람을 통한 반복적인 테스트가 수차례 필요한 분야에서 그러한 활용성을 확장해 나가고 있습니다.

(1) 게임 레벨 디자인: 인간에게 무엇을 물어볼지 결정하는 AI

게임의 창작 단계에서 AI를 사용하는 것은 더 이상 놀랍지 않습니다. 콘셉트 드로잉이나 내러티브 시나리오, 스토리보드 기획 등 브레인스토밍 수준에서 AI는 많은 게임 개발자의 회의 상대가 되어주고 있는데요. 새로운 시도는 수많은 베타 테스터를 동원하여 사용자 입장을 확인해 보는 레벨 디자인 단계에서 이루어지고 있습니다.

실제 플레이어들이 게임을 재미있게 플레이할 수 있으려면, 게임은 너무 쉽지도 어렵지도 않은 수준으로 딱 알맞은 밸런스를 갖추어야 합니다. 이러한 밸런스 문제는 단순한 코드 오류보다 훨씬 더 큰 차원의 맥락에 의존합니다. 그래서 몇 번이고 테스트하는 수고를 감수하고도 게임 개발 단계에서 테스트를 진행하는 것이죠.

결론부터 말하자면, 아직까지는 AI가 인간 베타 테스터를 완전히 대체하기에는 무리가 있습니다. 게임은 개발자들의 ‘의도’가 담긴 영역으로, 그 의도대로 플레이어들이 따라오고 있는지를 확인해야만 합니다. 단순히 정해진 답을 찾는 것이 아니라, 그 의도를 잘 전달할 수 있으려면 어떻게 해야하는가 방향성을 맞춰나가는 것이죠. 확률적으로 접근하는 AI로 사전학습 없이 이를 알아내기는 쉽지 않습니다.

대신 2019년 연구에 따르면, 이 ‘개발자의 의도’와 연관된 테스트를 효율화하는 데 AI를 활용하고 있습니다. 인간 테스터에게 어떤 데이터를 수집해야 할지, 테스트를 설계하는 데 도움을 주고 있는 것입니다.

무작위로 테스트하지 않고, 의미 있는 실험 케이스를 선택하는 방식이죠. AI는 앞선 테스트 데이터를 기반으로 이렇게 판단합니다.

“지금까지의 결과를 보면,
이번에는 적의 속도를 바꿔보는 게 가장 효율적이겠다.”

한편, 새로운 게임을 출시하기 위해 아무런 데이터도 없이 AI에게 의견을 묻는 것은 지금 수준에서 요원해 보입니다. 비슷한 유형의 게임 플레이 데이터가 있다면, 그것을 학습시켜 70~80% 수준의 완성도를 가진 게임을 개발하는 것은 가능해도 이어지는 추가 테스트와 개발자의 노력이 필요하죠.

중요한 건 기존에 쌓아왔던 자산을 AI를 통해 어떻게 잘 활용할 수 있을 것인가입니다. 완벽하게 대체할 수는 없어도, 일단 시작한 후 그것을 기반으로 효율화하고 개선하는 데 날개를 달아주는 용도로 활용할 수 있을 테니까요. 지금까지의 AI는 인간 시뮬레이션의 설계 효율화 수준에 머물러 있지만, 현재 이목이 집중되고 있는 가상 데이터 생성 기술과의 접목을 통해서 언젠가는 인간 플레이어의 행동 자체를 예측하는 가상 사용자 시뮬레이터로의 발전을 기대해 볼 수도 있겠습니다.

(2) UX 리서치: 사용자 인사이트를 예측하는 AI 페르소나

웹사이트의 UX 디자인 역시 마찬가지입니다. 고객이 웹사이트에 들어와 어떤 반응을 보일지, 상품 정보를 어떻게 찾고 어떤 경로를 통해서 웹사이트를 돌아다니다가 상품을 구매하거나 이탈해 버릴지를 사용자에게 직접 테스트해 봐야만 알 수 있었죠. 리서치 설계부터 인터뷰, 피드백 정리까지 모든 과정이 사람의 손을 거치기 때문에, 속도를 높이는 데에는 한계가 있었습니다.

이러한 과정을 효율화하기 위해, AI가 등장한 뒤로는 인간 리서처가 직접 AI 툴을 조합해 테스트를 설계하는 흐름이 자연스럽게 늘어났습니다. 예를 들어, Claude로 인터뷰 질문을 초안하고, Miro에서 사용자 여정을 시각화하며, Maze를 이용해 클릭 테스트나 플로우 검증을 빠르게 돌려보는 식입니다.

그런데 여기서 한 걸음 더 나아갈 수 있을까요? 최근에는 보다 본격적으로 UX 리서치를 자동화해 주는 서비스들이 등장하고 있습니다. 인간 테스터를 고용하고, 그 대표성/신뢰도를 관리하고, 테스트 내용을 요약하는 것까지 비용이 많이 들어간다는 점에서 페인포인트가 명확하기 때문입니다.

먼저 등장한 것은 보다 명확하게 답이 정해져 있는 QA 테스트 서비스입니다. 단순하게 제품을 실행하고, 모범안과 다르게 오류가 나는 부분이 있는지를 검증하는 레벨이기 때문에 자동화가 되기 수월한 단계입니다.

다음은 보다 고맥락의 사용자 패턴을 알아야 하는 단계입니다. ‘Uxia’나 ‘RZet’는 AI 페르소나를 만들어 고객들이 서비스에 어떻게 반응할지 시뮬레이션합니다. 사용자들의 반응이 궁금한 디자인 시안과 테스트 목표를 입력하면, 해당 서비스가 가지고 있는 데이터를 기반으로 AI 엔진이 이를 분석하고 가상 사용자 페르소나를 생성하여 평가를 주는 방식이죠.

주어진 환경에서 정보를 해석하거나 버튼을 클릭해 보는 등의 시뮬레이션을 통해 사용자들의 행동 패턴과 예상 반응(긍정적, 부정적)을 수집합니다. 기존에는 일일이 사람을 모집해 테스트해야 알 수 있었던 피드백을, AI가 대신 빠르게 “요약된 인사이트” 형태로 보여주는 것입니다.

이들은 아직까지는 실제 사용자의 복잡한 감정이나 맥락까지는 완벽히 반영할 수 없습니다. 돌발적인 사용자의 행동을 예측하기도 어렵기 때문에, 제품이 기대와 다른 방향으로 오용될 가능성이나 예기치 못한 행동을 제시할 수는 없죠. 적어도 탐색 단계에서의 시간 비용 감소를 목표로 하고 있지만, 당장은 퀄리티가 기대치에 못 미치는 것도 사실입니다.

결국 UX 리서치 분야에서도, 게임과 마찬가지로 AI는 여전히 인간 테스트를 대신하는 존재(대체재)라기보다는, “이번 테스트는 어떤 방향으로 설계하면 좋을까?”를 같이 생각해 주는 동료(보완재)에 가깝습니다.

쌓는 순간 시작되는 데이터의 선순환

AI가 실제 사람을 대상으로 하는 고객 조사를 대체하는 것은 아직 어렵지만, 가지고 있는 데이터를 기반으로 미래를 설계하는 데에는 획기적인 도움을 준다는 것을 알 수 있었습니다. 다르게 말하면, 일단 할 수 있는 한 최대한 많이 고객을 조사하고, 필요하다면 100%가 아닌 AI의 도움을 빌려서라도 일단 시작해서 조금이라도 고객 데이터를 쌓는 것이 중요하다는 것인데요.

AI는 실제 데이터라는 ‘재료’가 주어지면 그때부터 더욱 가속이 붙는 도구라고 이해해 볼 수 있을 것 같습니다. 고객이 확보되지 않은 초기 스타트업에게는 일반적인 LLM을 활용한 일명 제로샷 시뮬레이션도 유용할 수 있지만, 그렇게 유입된 실제 고객 데이터를 추가로 학습시키면 정확도는 한층 더 올라갑니다. 데이터가 쌓여갈수록 그것을 활용하는 AI의 효용이 눈덩이처럼 커지는 것이죠.

카카오벤처스의 패밀리사 와들(Waddle)은 바로 이 데이터 분석 능력에 주목했습니다. 데이터가 모이면 그것을 분석하는 능력이 AI 서비스의 핵심인데요. 와들의 AI 에이전트 '젠투'는 고객의 실제 행동 데이터를 학습해, 특정 제품을 구매하지 않거나 특정 단계에서 이탈이 발생할 때 그 이유를 파악합니다. 기존에 AI 점원 챗봇을 통해 파악한 고객들의 이탈 원인을 분석하는 것이죠. 예를 들어 특정 페이지에서 전환율이 떨어진다면, AI는 고객 관점에서 그 페이지의 문제점을 분석하고 개선안을 제시합니다.

여기에 그치지 않습니다. 와들은 분석뿐만 아니라 실행 능력까지 갖추고 있는데요, 와들의 AI는 코드를 직접 수정해 개선된 버전을 만들고, 그 결과까지 보고하는 에이전트로서 임무를 착실하게 수행하고 있죠.

이는 단순한 분석 도구를 넘어, 고객 피드백 → 문제 파악 → 개선 실행 → 결과 측정이라는 전체 사이클을 자동화하는 시스템입니다.

AI를 활용한 시뮬레이션의 경쟁력은 속도와 반복에 있습니다. AI가 사람을 대체할 만큼 완벽한 정답을 제공할 수는 없기에, 일단 시행해 보고, 검토하고, 개선하는 하나의 사이클을 구축하는 것이 중요하죠. 결국 AI 시뮬레이션이 가장 빛을 발하는 곳은 초기 스타트업입니다. 아직 고객이 많지 않고, 제한된 자원으로 빠르게 가설을 검증해야 하는 단계에서 AI는 강력한 도구가 됩니다.

물론 충분한 데이터를 이미 보유하고 있는 대기업은 자신들이 쌓아온 자산을 편리하게 관리해 줄 AI 제품이 필요할 수도 있겠습니다. 만약 B2B 아이템 개발을 생각하고 있다면, 워크플로우에 도입시킬 AI의 활용 목적을 뚜렷하게 하는 것이 중요합니다.

어떤 AI 툴이 개발되었을 때, 실제 기업은 베타 테스팅 기간을 단축하는 것보다 실제 매출 증대 효과를 더 중요하게 봅니다. AI가 전체 프로세스를 완벽하게 해결해 주지 않는 한, 부분적인 개선만으로는 도입을 망설이는 경우가 많죠.

AI 시뮬레이션과 관련하여 스타트업에게는 두 가지 길이 열려있습니다. 한 가지는 자사 제품 개발에 AI 시뮬레이션을 활용하는 것, 다른 한 가지는 AI 시뮬레이션 솔루션을 개발하여 판매하는 것이죠.

어느 쪽을 선택하든 잊지 말아야 할 것이 있습니다. AI는 — 적어도 아직까지는 — 현실을 완벽하게 재현하지 못합니다. AI 시뮬레이션은 출발점일 뿐, 결국 진짜 고객의 목소리를 듣고 데이터를 쌓아가는 선순환 구조를 만드는 것이 궁극적인 목표입니다.

AI가 만든 가상의 고객에서 시작해, 실제 고객 데이터를 쌓고, 그것을 다시 AI가 학습하는 순환구조가 만들어질 때, 스타트업은 비로소 고객을 이해하는 속도에서 경쟁 우위를 확보할 수 있을 것입니다.

카카오벤처스 투자팀의 인사이트를 바탕으로
커뮤니케이션팀 에디터 인턴 Chloe가 제작에 참여했습니다.