박 세용 
우리 팀은 오랜 기간 검색 데이터를 기반으로 고객 여정(Consumer Decision Journey, CDJ)을 정의하고, 이를 단계별 인텐트(의도) 맵으로 시각화하는 작업을 해왔습니다. 최근 많은 기업들이 디지털 마케팅 전략 수립 과정에서 고객 여정을 검색 데이터로 정의하는 추세가 늘어나고 있습니다.
이 작업은 수천, 수만 개의 검색 쿼리를 수집·분석하여, 소비자가 각 단계(초기 탐색, 정보 탐색, 경험 탐색, 구매 확정, 구매 후 경험, 리텐션 등)에서 어떤 고민과 행동, 감정, 정보를 탐색하는지 시각화하는 일입니다. 이렇게 만들어진 고객 여정 인텐트 맵은 각 단계별로 소비자의 니즈, 구매요인, 주요 비교 브랜드, 불만사항, 미디어 접점, 브랜드별 포지셔닝 등 실제적인 인사이트를 도출할 수 있는 강력한 도구가 됩니다.
인텐트 맵핑의 현실적 한계: 주관성과 불일치
하지만 이렇게 널리 활용되는 도구임에도 불구하고, ‘인텐트 맵핑’의 실무 현장에서는 꽤 오랜 기간 경험을 쌓은 멤버들조차 검색어를 분류하는 기준과 해석이 미묘하게 달라, 분류에서 다른 판단을 하는 경우가 발생합니다. 이 일을 전문적으로 수행하는 우리 회사 어센트코리아 내부에서도 일치율은 초기 단계에서 80~85% 수준에 머무르고, 경험이 없는 이들이 어센트가 제공한 가이드만으로 진행한 경우에는 70% 중반대로 떨어지는 것이 현실입니다. 물론 실제 상황에서는 여러 번의 반복을 통해 불일치를 줄여나갑니다.
이처럼 마케팅 분야에서는 정답이 없고, 서로의 기준에 따라 판단이 달라지는 경우가 많습니다. 이런 불확실성이 생기는 것은 경험과 직관, 실무 노하우 등 암묵지에 기반한 인간 고유의 해석과 판단이 여전히 절대적으로 중요하기 때문입니다. 동시에 이것이 마케팅 분야가 아직까지 인공지능에 의해 빠르게 완전히 대체되지 못하는 결정적 이유라고 생각합니다.
만약 마케팅이 코딩이나 수학처럼 답이 명확히 존재하고, 그 정답을 검증할 수 있는 영역이라면, 마케팅은 이미 더 빠른 속도로 AI에 의해 지배당했을 것입니다. 그러나 고객의 행동, 맥락, 문화, 인지, 감정, 미적 감각 등이 복잡하게 얽혀 있는 마케팅 영역에서는 각 사회의 고유한 해석과 암묵지가 여전히 불가피하게 중요한 역할을 하고 있습니다.
그렇다면 이 ‘정답 없음’의 영역을 AI로 자동화할 수 있을까요? 작업자마다 다른 결과가 나오는 검색 데이터 기반 고객 여정 인텐트 맵핑 같은 업무에서 일관적이고 효율적인 자동화가 과연 가능한 것일까요?
경험 기반 지식: 암묵지의 특성과 한계
암묵지란 공식적인 규칙이나 수치, 명문화된 절차로는 온전히 표현할 수 없는, 오랜 실전 경험과 맥락적 해석, 개인 혹은 조직의 직관과 노하우가 응축된 지식을 의미합니다. 이는 암묵지의 중요성을 강조한 마이클 폴라니가 말한 **”우리는 말할 수 있는 것보다 더 많이 안다”**는 유명한 명제처럼, 마케팅 전략 수립이나 데이터에 기반한 시장 분석, 즉 검색 데이터 기반의 ‘고객 여정 인텐트 맵’ 작성과 같은 업무에서 여실히 드러납니다.
실제 ‘고객 여정 인텐트 맵’ 작성 실무에서는 다음과 같은 판단의 순간들이 반복됩니다:
- “이 검색어를 고객 여정의 어느 단계(예: 초기 탐색, 정보 탐색, 구매 확정 등)에 배치할 것인가?”
- “이 키워드를 어떤 토픽 인텐트(예: 구매요인, 비교, 후기 등)로 분류할 것인가?”
같은 키워드를 두고도 한 작업자는 ‘경험 탐색’으로, 다른 전문가는 ‘구매 후 경험’으로 분류할 여지가 있으며, 이러한 판단의 불일치는 각자의 현장 경험, 업계 관행, 조직 내 암묵지의 총합이 다름에서 비롯됩니다.
이러한 결과는 ‘고객 여정 인텐트 맵’ 작성이라는 작업 자체가 명확한 정답이 없는 영역임을 보여줍니다. 즉, 데이터 기반 분류와 인텐트 맵핑은 실제로는 단일한 정답을 찾는 수학적 계산이나 코딩과는 본질적으로 다르며, 수많은 해석과 맥락, 조직의 관행, 전문가의 직관이 뒤섞여 있는 복합적 판단 영역입니다.
따라서 이런 분야에서 AI에 의한 자동화는 두 가지 근본적 도전에 직면하게 됩니다:
- 경험적 판단의 모방: 명확한 정답이 없는 문제에서 AI가 어떻게 인간과 유사한 경험적 판단을 할 수 있는가?
- 맥락 적응과 일관성: 조직별로 상이한 집단 암묵지와 시장 변화에 AI가 어떻게 유연하게 적응하고, 일관성을 유지할 수 있는가?
바로 이러한 배경 때문에 ‘검색 데이터 기반 고객 여정 인텐트 맵핑’은 지금까지 AI가 당장 모든 영역을 대체하지 못하고, 인간과 AI가 협력할 수밖에 없는 영역으로 남아 있었다고 생각합니다.
추론(Reasoning) 능력을 가진 LLM의 등장과 패러다임 변화
대규모 언어 모델(LLM)은 GPT, Llama 등과 같이 수백억에서 수천억 개의 파라미터를 가진 대형 신경망 언어 모델로서, 방대한 양의 텍스트 데이터를 학습하여 언어의 패턴과 의미, 맥락을 고차원 벡터 공간에 내재화합니다. 이 임베딩 공간에서는 단어나 문장, 혹은 문서 전체가 수천, 수만 차원의 벡터로 변환되어 저장되며, 의미적으로 유사한 개념들은 벡터 공간상에서 가까운 위치에 배치됩니다.
LLM의 핵심 메커니즘은 입력된 텍스트(예: 특정 검색어)에 대해 임베딩 공간 안에서 그에 가장 어울리는 답변(예: 고객 여정 단계, 의도 그룹 등)을 확률적으로 예측하고, 다시 자연어로 해석하여 결과를 출력하는 것입니다.
여기서 중요한 점은 LLM이 말하는 ‘추론(Reasoning)’이 전통적인 인간의 추론과는 본질적으로 다르다는 것입니다:
- LLM의 추론: 방대한 데이터에서 학습한 언어적 표현과 개념적 관계를 기반으로, 새로운 상황에서도 적절한 추상화와 일반화를 통해 맥락에 맞는 판단을 수행하는 것으로 수많은 글을 읽으면서 ‘이런 상황에서는 보통 이렇게 한다’는 경험을 쌓아두고, 새로운 문제가 나타나면 ‘아, 이건 예전에 본 그 상황과 비슷하네. 그럼 이렇게 접근하면 되겠다’라고 판단하는 것과 비슷합니다. 마치 요리를 많이 해본 사람이 새로운 재료를 보고도 ‘이 재료는 저 요리랑 비슷한 식감이니까, 비슷하게 조리하면 될 것 같은데?’라고 직감적으로 아는 것처럼, LLM도 엄청나게 많은 텍스트를 경험해서 언어와 개념 사이의 관계를 ‘감’으로 알게 된 것이라 할 수 있을 것 같습니다.
- 인간의 추론: 경험, 맥락 해석, 암묵지, 직관적 통찰 등 다양한 인지적 요소가 복합적으로 작용하여 발생하는 창의적 해석 과정으로 오랜 경험으로 쌓인 ‘감’과 그 순간의 상황, 말로 설명하기 어려운 노하우, 그리고 ‘뭔가 이상한데?’라는 직감이 모두 뒤섞여서 ‘아, 이번엔 이렇게 해야겠다’고 번뜩 떠오르는 과정이랑 비슷합니다. 마치 베테랑 의사가 환자를 보고 ‘검사 결과로는 괜찮다고 나오는데, 뭔가 이상해. 좀 더 지켜봐야겠어’라고 느끼는 것처럼, 인간은 데이터나 규칙만으로는 설명하기 어려운 여러 단서들을 종합해서 ‘이번엔 좀 다르게 접근해볼까?’라는 창의적인 아이디어를 내는 것이 포함됩니다.
방대한 데이터를 기반으로 하는 LLM의 추론 능력에 대해 우리는 실제 전문가 못지않은 품질과 일관성을 기대하는 경우가 많습니다. 하지만 우리가 일반적으로 사용하는 ChatGPT나 Gemini와 같은 범용 LLM으로 분류를 진행하면 전반적으로 그럴듯한 답을 내기는 하지만, 이를 실제 업무에 사용하기는 어렵다는 것을 금방 알게 됩니다. 매번 다른 결과가 나오는 것 역시 사용자를 크게 불안하게 만듭니다.
이는 일반적인 LLM이 특정한 제품 분야에 특화된 암묵지가 없기 때문에, 약간만 다른 분야가 되어도 일관된 처리가 어렵기 때문입니다. LLM은 주어진 데이터를 바탕으로 최적의 답을 예측할 수 있지만, 완전히 새로운 맥락이나 예외적인 상황에서는 여전히 인간 전문가의 직관적 판단에 미치지 못할 수 있습니다.
LLM의 특화 학습: 암묵지의 패턴화
이런 상황에서 우리는 LLM을 검색어 분류가 가능하도록 훈련시켜야 한다는 필요성을 느끼게 됩니다. LLM은 단순히 패턴을 암기하는 것이 아니라, 데이터의 방대한 패턴과 맥락을 벡터 공간에 저장해두고, 새로운 데이터가 들어올 때마다 그 공간에서 의미적으로 가장 가까운 답을 찾아내는 능력을 가지고 있습니다.
따라서 암묵지로 축적된 과거 분류 사례, 전문가들의 실제 작업 결과, 반복된 피드백을 정답지로 삼아서 LLM을 새롭게 학습시키면, ‘전문적인 작업자가 경험적으로 이런 경우에는 이런 답이 적당하다고 판단하는 것’처럼 행동하게 할 수 있습니다.
실제 학습 과정에서 기업들은 대부분 이미 만들어진 파운데이션 모델의 임베딩 공간을 기반으로, 기업 조직 내부에서 오래 축적해온 정답 데이터(고객 여정 분류 등 실무자가 쌓아온 레이블 데이터, 실제 분류 사례 등)를 사용해, 출력 생성 과정에 강화학습(RLHF: Reinforcement Learning from Human Feedback)이나 파인튜닝을 적용합니다.
이때 한 가지 우리가 기억해야 할 것은 이러한 학습이 LLM 파운데이션 모델의 내부 벡터 공간을 완전히 재구성하는 것이 아니라, 모델이 이미 가지고 있는 방대한 지식과 언어 이해 능력은 그대로 둔 채, 그 지식을 바탕으로 답을 만들어낼 때 ‘어떤 단어를 선택할 확률을 높일 것인가’만 조정하는 과정이라는 점입니다. 마치 똑같은 지식을 가진 사람이지만 상황에 따라 ‘이럴 때는 이런 식으로 말하는 게 좋겠다’는 표현 방식만 바뀌는 것처럼, 파인튜닝이나 강화학습은 모델의 핵심 이해력은 유지하면서 특정 조직의 분류 기준에 맞는 답을 더 자주 선택하도록 출력 확률 분포를 미세 조정하는 방식입니다.”
강화학습을 통한 조직 맞춤형 AI 구축
강화학습의 핵심은 인간의 피드백을 보상 신호로 활용하여 모델의 출력을 개선하는 데 있습니다. 구체적인 예시로 설명해보겠습니다.
“에어컨 고장”이라는 검색어가 들어왔을 때, 조직 내부에서는 이를 ‘Own & Service’ 단계로 분류한다고 가정해보겠습니다. 만약 LLM이 이 검색어를 ‘Browsing’ 단계로 잘못 분류했다면, 담당자는 “정답은 Own & Service다”라는 피드백을 제공합니다.
이런 피드백이 수천, 수만 번 반복되면, LLM은 ‘에어컨 고장’, ‘수리 방법’, ‘AS 센터’와 같은 검색어 패턴을 학습하고, 이후에는 유사한 키워드에 대해 훨씬 정확하게 Own & Service로 분류할 수 있게 됩니다.
이런 학습 과정은 사용 중인 LLM의 내재화된 임베딩 공간을 새로 만드는 시도가 아니라, 기존 공간 안에서 “조직 고유의 분류 규칙”을 반영해가는 과정입니다. 즉, LLM의 내부 벡터 시맨틱 스페이스와 기본적인 언어 이해 능력을 유지하면서, 점진적으로 특정 조직의 업무 환경과 경험에 맞는 답을 내도록 출력 생성 과정을 최적화하는 것입니다.
강화학습의 효과는 제공되는 피드백 데이터의 양과 질에 크게 좌우됩니다. 일관된 기준으로 분류된 대량의 사례가 있을 때, 우리는 LLM에 그 패턴을 빠르게 학습시킬 수 있습니다. 반대로 데이터가 부족하거나 분류 기준이 일관되지 않으면, 모델의 성능 향상은 제한적일 수밖에 없습니다. 따라서 성공적인 LLM 도입을 위해서는 고품질의 학습 데이터 구축 혹은 확보가 선행되어야 합니다.
데이터 자산과 학습 가능성
이렇게 고객 여정 인텐트 맵핑을 완전 자동화 할 수 있는 LLM 학습이 가능하다고 보고 이에 도전하고 있는 이유는 이 작업이 가지는 마케팅적, 비즈니스적 가치는 차치하고서라도 실무적 관점에서 2013년부터 지금까지 진행해온 수십 개의 프로젝트에서 얻은 서로 다른 제품/서비스 분야 별 1만개에서 3만개 정도의 키워드로 구축한 고객 여정 및 토픽 분류 결과 데이터가 있기 때문입니다. 모두 합하면 이들 기존 데이터는 총 수백만 개의 분류된 사례가 됩니다. 이는 양적 측면에서도 LLM 파인튜닝을 위한 의미 있는 규모라고 볼 수 있습니다.
우리 어센트가 가진 이들 분류 데이터는 완전하지는 않지만, 지속적으로 개선해온 덕분에 일정한 일관성을 유지하고 있습니다. 각 분야별로 동일한 분류 기준이 적용되었는지, 담당자가 바뀌어도 같은 키워드에 대해 동일한 분류가 이루어지는지가 중요한데, 지난 10년간 지속적으로 유지되며 발전해온 규칙에 의해 만들어진 이러한 일관성은 완전하지는 않지만 꽤 높은 일치율을 확보하는데 기여했다고 할 수 있습니다.
앞서 언급한 대로 현재 어센트의 내부 분류 작업들은 첫 번째 분류 작업 결과에서 80-85% 수준의 일치율을 보여주고 있습니다. 이는 실무적으로 상당히 높은 수준이며, LLM 학습에 충분히 활용할 수 있는 품질로 받아들여집니다. 완벽한 100% 일치 데이터가 있다면 더 좋은 것이기는 하지만, 현실적으로는 확보가 불가능하며, 오히려 15-20%의 불일치는 대부분 진짜 애매한 경계선 사례들에서 발생하는데, 이러한 다양한 관점이 오히려 모델을 더 유연하고 견고하게 학습시키는 데 도움이 될 수 있습니다.
단, 컨설팅팀이 만들어왔던 이런 데이터를 활용할 때에는 단계적인 접근이 필요합니다. 먼저 과거 분류 작업에서 의견이 갈렸던 키워드들을 찾아내어 별도 케이스로 정리해야 합니다. 이런 애매한 케이스들은 팀 내에서 다시 논의하고 합의를 거쳐 명확한 기준을 세워야 한다는 것입니다. 그 다음에는 모델 학습을 단계별로 진행하는 것이 좋습니다. 처음에는 누구나 같은 답을 내는 명확한 사례들로 모델의 기본기를 다지고, 그 이후에 점점 더 복잡하고 애매한 케이스들을 추가해 나가는 방식입니다. 마지막으로는 그동안 불명확했던 분류 기준들을 이 기회에 정리해서 앞으로의 일관성을 더욱 높이는 작업도 함께 진행해야 합니다.
실무 적용의 기회와 현실적 고려사항
LLM 기반 자동화가 마케팅 데이터 분류에 가져다주는 가장 큰 장점은 일관성과 확장성입니다. 기존에 사람이 직접 처리하던 수천, 수만 개의 검색어 분류를 일관된 기준으로 빠르게 수행할 수 있으며, 새로운 데이터가 추가되어도 즉시 처리가 가능합니다. 또한 분류할 데이터 양이 많더라도 24시간 지속적인 작업이 가능하고, 피로나 감정 상태에 영향받지 않는다는 점에서 인간 작업자 대비 우위를 갖습니다.
하지만 완전한 자동화에는 여전히 한계가 있습니다. 시장 환경의 급격한 변화, 새로운 제품이나 서비스의 등장, 소비자 행동 패턴의 변화 등에 대해서는 인간의 직관적 판단과 맥락적 이해가 여전히 필요합니다. 또한 조직의 전략 변화나 분류 기준의 개선이 필요한 상황에서는 인간 전문가의 개입이 불가피합니다.
우리의 선택과 전략
AI를 도입하는 방식에는 정답이 없습니다. 회사마다 기술, 예산, 조직 문화가 다르고, 특히 우리 회사가 다루려는 고객 여정 인텐트 맵의 케이스처럼 실무자 개개인의 분류 경험 등의 암묵지가 중요한 분야에서는 아직 아무도 명확한 답을 가지고 있지 않다고 생각합니다.
그런 의미에서 우리가 당장 내부 LLM 시스템을 완벽하게 튜닝하지 못한다고 해도 괜찮다고 생각합니다. 지금 이 순간부터 우리 컨설팅 본부로부터의 데이터를 더 체계적으로 모으고, 분류 기준을 명확히 해나가며, AI와 사람이 각자의 강점을 살릴 수 있는 구조를 조금씩 함께 만들어가는 것이 중요합니다.
저는 우리 팀이 ‘정답 없는 영역’에서 더 큰 실험을 시작하고 있다는 사실에 자부심을 느낍니다. 아직은 완벽하지 않아도 좋으니, 우리만의 방법으로 경험과 데이터를 모으고, AI 기술의 발전을 지속적으로 팔로업하며 우리만의 영역을 개척해 나가고자 합니다.
완전한 자동화보다는 인간과 AI의 협력을 통해, 더 정확하고 일관성 있는 고객 여정 인텐트 맵을 만들어가는 것이 현실적이면서도 효과적인 접근법이 될 것이라고 믿습니다. 이러한 하이브리드 접근법을 통해 우리는 마케팅 영역에서 AI 활용의 새로운 패러다임을 제시할 수 있을 것입니다.
