AI 에이전트란? 개념부터 스타트업 기회까지 완벽 정리!

Summary

너도 나도 앞다퉈 말하는 키워드, AI 에이전트! 하지만 AI 에이전트가 무엇을 의미하는지, 기존 AI와는 어떻게 다른지 속 시원히 설명해주는 콘텐츠는 드문 것 같습니다.

[🎙️KV Talk Plus+] 이번 에피소드에서는 ‘AI 에이전트라는 개념이 왜 지금 주목받고 있는지’, ‘어떤 기술적 맥락에서 등장했는지’, 그리고 ‘이 흐름 속에서 스타트업이 잡을 수 있는 기회는 무엇인지’ 다뤄봅니다.

Chapters

00:00 Intro
00:31 주제 설명
01:06 AI가 갑자기 똑똑해진 이유
02:11 챗GPT, 이렇게 대단한 서비스였어?
03:10 챗GPT에도 한계가 있다!
04:11 아직 ‘만능 AI’가 나오지 못한 이유
05:12 Vertical AI 사례
06:06 AI Agent란?
07:01 ‘AI’랑 ‘AI Agent’, 무엇이 다를까?
07:57 1️⃣ 문제 분석하기
08:35 2️⃣ 작업 쪼개기
09:11 3️⃣ 외부 도구 연결하기
09:34 4️⃣ 결과를 스스로 개선하기
10:03 5️⃣ 기억하고 다음에 더 잘하기
10:31 AI Agent, 스타트업이 잡을 수 있는 기회는?✨
11:31 구체적으로 어떻게 노력해볼 수 있을까?
12:10 경쟁력 있는 Agent가 되려면
13:05 Outro

Transcript

강동연 매니저: 네, 안녕하세요. 돌아온 [KV Talk+]입니다. 요즘 뉴스에서 AI 에이전트라는 단어가 심심치 않게 보이곤 하는데요. 하지만, 막상 AI 에이전트가 무엇인지 명확하게 풀이해 주는 콘텐츠가 많이 없었던 것 같아요.

그래서 카카오벤처스에서 이 키워드에 대해 조금 더 쉽게, 그리고 더 깊게 풀이해 보려고 합니다. 설명을 도와주실 카카오벤처스 김영무 심사역님 오셨습니다.

김영무 심사역: 반갑습니다. 카카오 벤처스 김영무 심사역이라고 합니다. 다양한 영역에 있어서 딥테크 투자를 지금까지 해왔고요. 이번 영상에서는 지금 가장 주목 받고 있는 ‘AI 에이전트’라는 키워드에 대해서 이야기를 해 보는 시간을 가져보도록 하겠습니다.

강동연 매니저: 우선 AI 에이전트에 대해 이야기하기 전에, 그 앞에 붙어 있는 ‘AI’를 먼저 짚고 넘어가 볼 텐데요. 요즘 AI가 정말 깜짝 놀랄만큼 똑똑해졌잖아요. AI가 이렇게 발전할 수 있었던 배경을 간단히 설명해 주실 수 있을까요?

김영무 심사역: 사실 AI라는 건 1970-80년대부터 꾸준히 연구되어져 왔던 수학적 알고리즘이에요. 그런데 왜 이게 수십년이 지난 지금에서야 뜨거워졌는지 생각해 볼 수 있을 것 같은데요.

그 시작점은 대략 2017년쯤에 구글에서 ‘Attention is All You Need’라는 논문을 발표하게 되면서 많이 부상하게 된 것 같아요. Attention is All You Need에서는 어텐션 알고리즘을 활용한 트랜스포머라는 모델을 제안했는데요.

기존의 AI 같은 경우에는 컴퓨터 비전, 번역 등 다양한 태스크에 있어서 그 모델들이 각각 발전되어져 왔어요. 반면, 트랜스포머 모델을 활용하게 된다면 그 모든 태스크에 있어서 기존에 있던 모델들보다 훨씬 더 우월한 선능을 보여주는 것을 확인할 수 있다는 논문이었어요.

시간이 좀 더 흘러 2022년이 되었고, 오픈 AI가 트랜스포머 모델과 Scaling Law를 기반으로 한 LLM 모델을 발표하게 되는데요. 그 결과, 챗GPT가 나왔고 세계적으로 엄청난 파급력을 가지고 오게 되었습니다.

강동연 매니저: 챗GPT가 전세계적으로 큰 충격을 주었다고 말씀하셨는데, 구체적으로 어떤 충격을 준 걸까요?

김영무 심사역: 챗GPT가 출시된 시점이 2022년 12월이었거든요. 사실상 2023년인 건데, 그때 쯤에는 ‘틱톡 이후로 엄청난 파급력을 주는 서비스 플랫폼 같은 건 더이상 나오기 어렵다’, ‘큰 건 다 나오지 않았나’ 이런 이야기가 되게 많이 나왔어요.

틱톡 같은 경우에도 1억 명의 MAU를 달성하는 데까지 9개월밖에 안 걸렸거든요. 그래서 ‘더 이상 이 기록을 깰 수 있는 서비스는 안 나올 것 같다’는 분위기가 있었는데요. 챗GPT는 출시한지 5일만에 사용자 수 100만 명에 도달했고요. MAU 1억 명도 틱톡보다 4배 빠르게, 무려 2개월 만에 도달했습니다.

그래서 챗GPT가 나온 게 단순히 기술적인 임팩트뿐만 아니라, 서비스로서 그리고 비즈니스로서도 엄청난 임팩트를 끼친 사례이기도 합니다.

강동연 매니저: 지금 챗GPT에 너무 익숙해져서 몰랐는데, 생각해 보니 정말 메가로 히트친 서비스였네요.

김영무 심사역: 정말 빠른 시간 내에 전 세계적으로 침투한 서비스는 이러한 선례가 없었죠.

강동연 매니저: 저는 이런 챗GPT를 매일 쓰고 있고, 그리고 정말 만족하면서 잘 쓰고 있거든요. 그런데 심사역님처럼 시장을 더 깊이 바라보는 입장에서는 제 눈에 보이지 않은 아쉬운 점 같은 게 보일 수도 있다는 생각이 드는데요. 그런 부분이 있을까요?

김영무 심사역: 챗GPT가 이미 저희의 삶을 되게 많이 바꿨다고 생각할 수 있는데요. 그런데, 막상 오픈 AI 쪽에서 발표한 GPT의 특히 B2C의 사용률을 보면 약 50% 정도가 학생 또는 개발자들만 사용하고 있는 상황이에요.

30% 정도가 프로그래밍에 활용되고 있고, 대략 20% 정도가 학생들 숙제 풀고 과제 답 물어보고 하는 용도로 쓰고 있어요. 그러다 보니 챗GPT가 정말로 엄청난 글로벌 슈퍼앱이 되었냐, 물어보면 아직은 좀 거리가 있다고 볼 수 있을 것 같습니다.

GPT의 각 국가별 침투율를 보면, 한국 같은 경우에는 아직 6~7% 정도밖에 안 되고 있어요. 미국과 일본 같은 경우에는 20%대이긴 한데요. 일본 같은 경우에도 daily, weekly, monthly 리텐션을 보면 아직 1% 정도밖에 안 돼요.

그러니까 사실 일본 같은 경우에도 막상 데일리로 활용하지는 못하고 있다, 위클리조차도 못 쓰고 있다라고 보면 될 것 같습니다. 저희의 삶을 송두리채 바꿨다고 보기에는 어려운 지점이 있죠.

강동연 매니저: 채팅을 주고받는 기능에서 더 발전하고 더 고도화된 AI가 나온다면, 모든 일을 척척 해주는 만능 AI가 될 수도 있을 것 같은데요. 왜 아직 그런 AI가 나오지 못한 걸까요?

김영무 심사역: AI뿐만 아니라 모든 과학 기술은 맨 처음 등장할 때 universal한 태스크에 활용될 수 있게 만들어져요. AI도 마찬가지로 LLM이 universal한 일을 전부 처리할 수 있다는 가설 속에서 나왔고요.

그런데 문제는 AI를 Scaling Law를 기반으로 모델을 엄청나게 키워서 범용적인 일을 어느 정도까지는 잘 수행할 수 있도록 만들어 놓았지만, 특정한 날카로운 일들 같은 경우에는 Trade Off가 발생할 수밖에 없게 돼요.

그래서 AI가 단순히 번역해주고, 오타를 찾아주고 이런 태스크는 잘하는 반면, ‘내 계정에 로그인해서 내 어투를 활용해 메일을 작성해서 보내줘’ 이런 식으로 실제 액션이 수행되거나, 아니면 메디컬이나 논문, 법률, 재무처럼 domain expertise가 필요한 부분에 대해서는 아직 사람을 완전히 대체할 수 있는 정도의 성능을 만들어내고 있지는 못하고 있어요.

그래서 AI한테 universal한 태스크를 주는 것과 vertical한 태스크를 주는 것에 있어서의 trade off가 발생할 수밖에 없는 거죠.

강동연 매니저: ‘범용화된 AI’와 ‘섹터별로 특화된 AI’ 이 두 개의 trade off가 있기 때문에, 어느 하나에 더 우선 순위를 두고 발전시킬 수밖에 없는 환경이라고 이해했어요. 지금으로서는 후자가 더 우세한 상황인 것 같은데요. 이러한 흐름을 잘 보여 줄 수 있는 사례 같은 게 있을까요?

김영무 심사역: 딱 들었을 때 생각나는 사례 같은 경우는 Cursor AI가 있는 것 같아요. 지금은 범용적인 모든 태스크를 잘 수행할 수 있는 AGI 같은 경우에는 만들기 아주 어려운 상황에 처해져 있지만, vertical AI를 특정 영역에만 딱 고도화시켜서 파인튜닝하게 된다면, 그 영역에서만큼은 AGI만큼의 성능을 보여줄 수 있긴 하거든요.

Cursor AI 같은 경우는 사실 특별하게 뭔가 다른 게 있는 건 아니에요. 아마 존재하는 코드를 단순하게 모두 학습시켜서 만들어낸 서비스일 텐데요. 다른 특별한 무언가가 있는 게 아님에도 불구하고 개발에만 집중해서 파인튜닝하고, 개발에만 집중해서 프로덕트를 만들다 보니까 개발 씬에서만큼은 AGI를 활용하는 것만큼이나 업무 프로세스를 많이 개선할 수 있었다고 볼 수 있을 것 같아요.

강동연 매니저: 이러한 흐름으로 AI가 발전을 해왔는데, 앞으로는 어떠한 형태의 AI 또는 AI 기술이 주목을 받게 될까요?

김영무 심사역: 앞으로 주목받게 될 AI 같은 경우에는 지금 가장 핫한 키워드인 ‘AI 에이전트’가 될 것 같아요. AI 에이전트란, 한 개의 거대한 AI 모델이 아니라 그것들을 여러 개의 에이전트로 쪼개서 특정한 태스크 그리고 특정한 유저에 맞춰서 학습시켜서 돌릴 수 있는 걸 말하고요.

또, 여러 가지 에이전트를 활용하기 때문에 멀티 에이전트 시스템도 앞으로 발전이 많이 될 겁니다. 그런데 이 에이전트 같은 경우에 저희가 지금 ‘노트테이킹 에이전트’, ‘번역 에이전트’처럼 유저들이 쓰는 기능으로 분류하고 있는 것 같은데요.

사실 에이전트라는 건 단순하게 유저들이 쓰는 기능으로 분류되는 게 아니라, ‘어떻게 하면 말을 더 잘하게 만들 수 있을까’를 담당하는 ‘발화 에이전트’라든지, ‘여러 에이전트들을 어떻게 분류해서 효율적으로 사용할 수 있을까’를 맡는 ‘라우터 에이전트’와 같이, 조금 더 세분화되고 잘게 쪼개져 있는 기능을 수행하는 게 에이전트입니다.

강동연 매니저: 챗GPT 같은 ‘AI 서비스’와 방금 말씀해 주신 ‘AI 에이전트’와는 어떠한 차이가 있는 건지 질문드리고 싶습니다.

김영무 심사역: 사람의 개입이 없이 독립적으로 결정을 내리고, 그에 맞춰서 행동까지 하는 수준의 AI를 ‘에이전틱한 AI’라고 생각하고 있는데요. AI 에이전트가 기존의 AI랑 기능적인 면에 있어서 무엇이 다르냐고 하면, 크게 다섯 가지가 있다고 생각합니다.

첫 번째는 일을 주어졌을 때 자체적으로 그 문제를 분석하는 능력을 가져야 하고요. 두 번째로는 복잡한 문제를 작은 단위로 분석하는 능력이 있어야 하고, 세 번째로는 외부 도구를 활용해서 문제를 해결하는 능력이 있어야 해요.

네 번째는 결과물에 대한 검토와 개선을 스스로 하는 능력, 마지막으로는 검토와 개선까지 이루어진 것들을 메모리에 기억해 뒀다가 다음 번에 일을 할 때 이를 반영하여 효율적으로 답변하는 능력이 있어야 해요.

이 다섯 개를 전부 다 수행해야 완전한 AI 에이전트라고 생각하고 있습니다.

강동연 매니저: 각각에 대해서도 그게 어떤 능력을 의미하는지 추가적으로 설명해 주실 수 있을까요?

김영무 심사역: 먼저, ‘자체적으로 문제를 분석하는 능력’ 같은 경우에는 저희가 요즘 간접적으로 느끼고 있을 거예요. 챗GPT한테 무언가 부탁할 때, GPT가 오히려 저희한테 요청이 어떤 걸 의미하는지 물어본다든지, 아니면 요청한 태스크가 정확히 무엇인지 다시 한 번 체크하고 넘어가는 사례가 나오고 있는데요. 이게 바로 AI가 유저가 물어본 문제가 무엇인지를 분석하는 것이거든요.

챗GPT의 사용률을 볼 때, 개발이나 학생분들은 챗GPT를 잘 쓰는 방법을 너무 잘 아세요. 그런데 일반인 같은 경우에는 어떻게 해야 잘 쓰는지 모르기 때문에, Garbage in Garbage Out이 되지 않으려면 AI 스스로가 유저가 물어보는 질문을 잘 분석할 줄 알아야 합니다. 그래서 첫 번째 능력이 필요한 거예요.

강동연 매니저: 두 번째 능력이 ‘복잡한 문제를 작은 단위로 분해하는 능력’이라고 하셨는데, 이건 어떤 의미일까요?

김영무 심사역: 첫 번째 능력의 연장선인데요. 예를 들어, AI한테 호텔을 예약해주라고 한다면 첫 번째 능력 같은 경우에는 ‘정확히 어떤 호텔을 예약해야 하는지’, ‘왜 호텔을 예약해야 하는지’를 물어보는 것이고요.

두 번째 능력은 호텔을 예약하기 위해 필요한 여러 가지 태스크들을 쪼개는 거죠. ‘몇월 며칠에 여행을 가는지 날짜를 확인해 보기’, ‘어디로 여행을 가는지 지역을 확인해 보기’, ‘그 지역에서 가장 유명한 호텔을 파악해 보기’, ‘유저가 원하는 호텔의 우선 순위가 무엇인지 물어보기’ 이런 식으로 엄청나게 어렵고 나이브한 질문을 훨씬 더 세부적이고 유형의 태스크로 바꾸는 능력입니다.

세 번째 같은 경우는, 호텔 이야기를 계속 해보자면 결국 호텔을 예약하려면 아고다나 야놀자 같은 외부의 이해 관계자들로부터 정보를 가져온다든지, 결제 시스템을 연결해야 한다든지, 외부 툴과 연결이 필요해요. 그렇기 때문에 저희가 정말 진정으로 AI를 잘 쓰려면 외부와의 연결도 중요하다고 볼 수 있을 것 같습니다.

강동연 매니저: 네 번째가 ‘결과물에 대한 지속적인 검토와 개선’이었는데요. 이건 어떤 의미일까요?

김영무 심사역: 이 능력 같은 경우는 저희가 호텔을 예약해달라고 했을 때, AI가 중간마다 ‘내가 지금 제대로 호텔 예약하고 있는게 맞나’, ‘유저가 이런 우선 순위로 호텔을 예약하는 걸 원하는 게 맞나’ 스스로 판단하고, 다시 한 번 질문하고, 결과물에 대해 유저가 피드백을 줬을 때 그것을 바로 인지하고 메모리에 넣으면서 ‘유저가 원하는 호텔은 뷰가 예쁜 호텔이 아니라 저렴한 호텔이었구나’를 스스로 깨닫는 걸 말합니다.

강동연 매니저: 마지막 ‘메모리를 활용한 효율적인 답변 도출’ 이 능력도 설명해주세요.

김영무 심사역: 그것도 마찬가지로 유저가 한 번 저렴한 호텔을 예약한 이후부터는 무조건 호텔을 예약해 줄 때 그걸 기반으로 해준다든지, 아니면 이어서 비행기 표를 예매하려고 할 때 ‘호텔 예약한 것과 같은 여행이네’를 스스로 판단한다든지. 이런 것들이 포함된다고 보면 될 것 같습니다.

강동연 매니저: 정말 모든 걸 알아서 처리해주는 것 같은데요. 그래서 에이전트라는 말이 붙은 거였군요.

아무래도 저희가 VC다 보니, 이 질문을 빼놓을 수가 없을 것 같은데요. 말씀해 주셨던 AI 에이전트가 되기 위한 다섯 가지 조건 중에서 스타트업에게 기회가 될 만한 것들이 있을까요?

김영무 심사역: 다섯 개의 개념 중에서 ‘자체적으로 문제를 분석’하고 ‘복잡한 문제를 작은 단위로 분해하는’ 이런 능력 같은 경우에는 아까 챗GPT가 이미 하고 있다 말씀드렸는데요. 이건 사실 모델 자체의 성능 향상이기 때문에, 모델 Provider들의 몫이에요. Cluad나 오픈 AI, 미스트랄, 트릴리온랩스, 딥시크 같은 기업들의 몫인 거고요.

스타트업게 주어져 있는 건 밑에 있는 세 가지가 될 것 같아요. ‘외부 도구를 통하는 문제 해결’, ‘결과물을 지속적으로 검토하고 개선하는 능력’, ‘메모리를 통한 효율적인 답변 도출’인 건데요.

사실 이 세 가지 기능을 잘 보면, 유저 입장에서는 결국 Connection(연결)과 Customization(개인화)예요. ‘외부 도구를 얼마나 잘 연결시켜 주느냐’랑 ‘얼만큼 나에게 개인화된 경험을 주는가’요. 이 두 가지 관점이에요.

기존의 AI한테 두 가지 관점에 있어서의 스킬셋을 새롭게 줄 수 있을 것 같고, 또 그걸 기반으로 프로덕트를 만드는 스타트업들이 시장 내에서의 기회를 잘 찾아갈 수 있지 않을까 생각하고 있습니다.

강동연 매니저: 그럼 이 두 가지를 스타트업들이 어떤 방식으로 해결할 수 있을 거라고 생각하시는지도 궁금합니다.

김영무 심사역: LLM 모델을 활용해서 직접 서비스를 만들거나, 또는 이러한 서비스를 쉽게 만들 수 있게 해 주거나. 예를 들어, LangChain이나 Abacus.ai, Windsurf 이런 것들이 서비스를 쉽게 만들 수 있게 도와주는 쪽일 것 같고요. 또, 이런 툴들을 활용해서 실제 사용자가 사용할 수 있는 서비스를 만드는 스타트업. 이렇게 두 방향이 존재할 것 같아요.

사실 카카오벤처스 같은 경우에는 지난 몇 년간 LLM이 등장한 이후에는 ‘AI의 활용과 확산’이라는 키워드 속에서 계속 투자를 해왔는데요. AI 안에서의 밸류 체인과 시장을 쪼개고, 그 중 비어 있는 공간을 채워가는 느낌으로 투자를 해왔습니다.

강동연 매니저: 그런데 결국 AI를 통한 프로덕트가 있다고 하더라도, 기존에 있는 LLM을 단순히 잘 포장해서 내보내는 것일 텐데, 그게 과연 경쟁력이 있을까 하는 생각이 들어요.

김영무 심사역: 아까 말씀드렸던 것처럼 LLM 모델의 성능 향상은 모델을 제공하는 기업들의 역할이고, 스타트업들은 그 언어 모델을 끌고 와서 쓰는 거라고 했는데요. 이런 구조를 ‘LLM Wrapper’라고 해요. 기존에 있는 LLM 모델을 잘 랩핑해서 새로 내보내주기 때문인데요.

저는 AI 에이전트를 만들면서 경쟁력을 가져 가는 건 충분히 가능하다고 생각해요. 아까 말씀드렸던 두 가지 스킬셋인 Connection과 Customization을 가져가면서 AI를 만드는 것과, 단순하게 LLM 모델에 API를 연결해서 사람들이 쓸 수 있게 해주는 건 완전히 하늘과 땅 차이라고 생각합니다.

그래서 카카오벤처스 같은 경우에는 LLM Wrapper 이상의 경쟁력을 가지고 있는 AI 에이전트 스타트업을 찾기 위해 열심히 노력해왔는데요. 또 최근에 그런 경쟁력을 가지고 있는 스타트업 하나에 투자를 했어요. 그 회사를 한 번 소개해드리면 좋을 것 같긴 합니다.

강동연 매니저: 네, 다음 번에는 카카오벤처스에서 투자한 AI 에이전트 팀이 직접 등장해서 김영무 심사과 함께 깊은 이야기 나눠주실 예정이니까요. 다음 편도 많은 기대 부탁드립니다. 감사합니다.

영상이 유익하셨나요?
[🎙️KV Talk Plus+] 시리즈의 다른 에피소드도 함께 시청해 보세요!

👉🏻 카카오벤처스가 선택한 넥스트 엔비디아, 그 스타트업은?
👉🏻 ‘양자컴퓨터’, 진짜 임팩트는 언제 올까? VC의 시선으로 본 퀀텀의 미래
👉🏻 AI 다음은 '로봇'이다! 곧 시작될 로보틱스 혁명