
인공지능(AI)을 활용하면 이제 하루 만에도 그럴듯한 서비스를 만들 수 있다. 그러나 AI를 빠르게 개발하고 도입하는 것과 실제 비즈니스 성과를 창출하는 것은 별개의 문제다. 중요한 것은 개별 AI 도구의 성능이 아니라 문제를 발견하고, 원인을 판단하고, 실행한 뒤 결과를 검증하는 전 과정이 하나로 연결돼 있는지다.
20일 열린 '씽킹AI 서밋 서울 2026(ThinkingAI Summit Seoul 2026)'에서는 AI 에이전트를 실제 비즈니스와 개발 환경에 적용하기 위한 전략과 사례가 공유됐다. 이날 연단에 선 전문가들은 AI 도입 자체가 성과를 보장하지는 않는다며, 업무의 맥락과 판단 근거를 축적하고 실행과 검증을 연결하는 체계가 필요하다고 강조했다.

먼저 서광덕 씽킹AI 한국지사장이 AI 도입이 실제 비즈니스 성과로 이어지지 못하는 현실을 짚었다. 서 지사장이 소개한 맥킨지의 2026년 조사에 따르면 AI가 영업이익(EBIT)에 조금이라도 기여했다고 응답한 기업은 37%로, 1년 전과 비슷한 수준에 머물렀다. MIT NANDA의 2025년 보고서에서는 기업의 생성형 AI 파일럿 프로젝트 중 95%가 측정 가능한 손익 효과를 내지 못한 것으로 나타났다. 가트너 역시 에이전틱 AI 프로젝트의 40% 이상이 2027년 말까지 중단될 것으로 전망했다.
서광덕 지사장은 "AI를 실제 서비스로 운영하기 위해서는 데이터 정의와 품질, 접근 권한, 예외 처리, 기존 시스템과의 연동 등 다양한 조건을 충족해야 한다"며 "눈에 보이는 데모가 빙산의 10%라면 실제 운영에 필요한 요소는 수면 아래 90%다. 이 90%는 AI가 자동으로 해결해주지 않는다"고 지적했다.
이어 그는 "이를 해결하기 위해서는 모델 자체보다 데이터의 의미와 비즈니스 맥락을 체계적으로 관리해야 한다"며 "AI를 도입하기 전에 '누구의 KPI인가', '무엇이 바뀌었는가', '다음에는 무엇을 할 것인가'라는 세 가지 질문에 답할 수 있어야 한다"고 말했다. AI 프로젝트의 성과를 책임질 주체가 있어야 하고, 실제 효과를 측정할 수 있어야 하며, 그 결과가 다음 행동으로 이어져야 한다는 뜻이다.
AI 에이전트란 인간을 대신해 자율적으로 작업을 수행하는 것이지만, 현재 상당수의 서비스들이 여전히 사람의 질문과 지시를 기다리는 수준에 그치고 있다. 많은 기업에서는 이상 신호는 대시보드에, 판단 근거는 회의록에, 실행 내역과 결과는 별도 보고서에 남는다.

이에 씽킹AI는 데이터 분석부터 소셜 데이터, A/B 테스트, CRM 등을 연결하고 에이전트가 감지·분석·실행·검증을 수행하는 '에이전틱 그로스 엔진'을 제시했다. 행동 데이터 분석, 업데이트 효과 분석, 실시간 세그먼트 타기팅에 더해 최근 소셜 커뮤니티 분석 기능도 업데이트했다. 구글 유튜브, 네이버(블로그 및 카페), 레딧, 틱톡 등 다양한 소셜 채널에서 나오는 자사 관련 부정 시그널을 빠르게 확인할 수 있다.
데이터 엔지니어 1명으로 시작한 플랫폼 구축… 에이전트가 일할 환경부터 만들었다
서동진 넥스트증권 AI 데이터플랫폼팀 팀장은 에이전틱 AI를 실제 개발 환경에 적용하는 과정에서 겪은 시행착오와 개선 방안을 공유했다.
서 팀장은 지난해 11월 넥스트증권에 합류했다. 당시 회사는 신사업을 준비하면서 데이터 플랫폼과 고객 여정 플랫폼을 처음부터 구축해야 하는 상황이었다. 클라우드 네이티브 환경으로 전환하는 방향은 정해졌지만 데이터 엔지니어는 서 팀장 한 명뿐이었다. 기존 방식이라면 인력을 충원하거나 프로젝트 범위를 줄여야 했지만, 그는 AI 에이전트를 활용해 개발 방식 자체를 바꾸기로 했다.
초기에는 AI를 활용해 코드를 생성하더라도 기대만큼 생산성이 높아지지 않았다. 코드는 빠르게 만들어졌지만 제대로 작동하지 않거나 유지보수가 어려웠고, 이를 검토하고 수정하는 데 오히려 많은 시간이 필요했다. AI가 생성하는 코드의 양과 속도를 사람이 따라가지 못했고, 잘 모르는 기술로 구현된 결과물은 제대로 검증하기도 어려웠다.
서 팀장은 이러한 한계를 설명하며 2025년 METR의 연구를 인용했다. 숙련된 오픈소스 개발자들은 AI 도구를 사용하면 작업 속도가 24% 빨라질 것으로 예상했지만 실제로는 19% 느려졌다. 그럼에도 작업 후에는 약 20% 빨라졌다고 인식했다. 이는 AI를 활용하면서 생산성이 높아졌다고 느끼는 것과 실제 성과 사이에 차이가 있을 수 있음을 보여주는 사례다.

서동진 팀장이 선택한 해법은 AI에게 더 많은 코드를 작성하도록 하는 것이 아니라 AI가 일할 수 있는 환경을 먼저 설계하는 것이었다. 먼저 AI가 수행해야 할 작업과 지켜야 할 규칙, 검증 기준 등을 사전에 정의해 안정적으로 일하도록 만드는 '하네스 엔지니어링(Harness Engineering)'이라는 접근 방식을 활용했다.
개발 방식도 바이브 코딩(Vibe Coding)에서 에이전틱 엔지니어링(Agentic Engineering)으로 바꿨다. 바이브 코딩에서는 사람이 프롬프트를 작성하고 AI가 만든 코드의 작동 여부를 확인하는 데 집중했다면, 에이전틱 엔지니어링에서는 사람이 전체 시스템의 구조와 작업 기준을 설계하고 AI 에이전트가 역할을 나눠 업무를 수행하도록 한다.
여기서 중요한 것은 결과에 대한 다층적인 검증과 작업 과정에서 얻은 지식의 축적이다. 서 팀장은 이를 위해 '마스터 레포지토리(Master Repository)'를 구축했다. 단순히 소스 코드를 저장하는 것이 아니라 과거의 의사결정, 설계 의도, 검토했던 대안과 선택 이유, 실패 경험과 교훈 등 조직의 맥락을 축적하는 저장소다.
서동진 팀장은 "맥락이 비어있으면 빈칸을 그럴듯하게 채우는 할루시네이션이 일어날 수 있다"며 "마스터 레포지토리를 통해 산출물(결과) 중심이었던 것을 의도 중심(실제 인간의 의도, 대화 기록, 대안을 선택한 이유 등)으로 바꿨다. 이를 통해 개인에게 머물던 경험과 판단이 조직의 공유 가능한 자산으로 축적될 수 있다"고 밝혔다.

이 같은 방식의 변화는 개발 작업 처리량 증가로 이어졌다. 하루 평균 반영(머지, merge)된 PR(Pull Request, 자신이 수정한 코드를 메인 코드 저장소(Repository)에 반영(Merge)하기 전, 다른 개발자나 시스템에 '내가 수정한 코드를 검토하고 가져가 달라'고 요청하는 절차)은 올해 8월 1.4건에서 9월 6.9건, 10월 1~9일 14.6건으로 늘었다.
약 두 달 사이 10배 이상 증가한 것이다.다만 에이전트 활용 범위가 확대되면서 새로운 관리 문제가 등장했다. 여러 AI 에이전트에 동시에 작업을 맡기면 각각의 진행 상황과 완료 여부, 추가 의사결정이 필요한 사항을 사람이 일일이 확인해야 했다. 에이전트가 많아질수록 오히려 사람의 관리 부담이 커진 것이다.
이를 해결하기 위해 도입한 것이 '마스터 에이전트(Master Agent)'다. 사람이 목표와 작업 범위를 정하면 마스터 에이전트가 이를 해석해 하위 에이전트에 구현, 조사, 리뷰 등의 업무를 분배한다. 이후 각 에이전트의 작업 결과를 취합하고, 완료된 업무와 추가 판단이 필요한 사항을 정리해 사람에게 보고하는 구조다.

넥스트증권의 실험은 현재도 진행 중이다. AI 에이전트가 코드 생성과 리뷰를 모두 수행하는 과정에서 충분한 검증 없이 변경사항이 반영되는 문제가 발생했기 때문이다. AI가 빠르게 코드를 변경하지만 검증 체계가 이를 따라가지 못하는 상황도 나타났다. 서동진 팀장은 이를 해결하기 위해 '소프트웨어 팩토리(Software Factory)' 개념을 도입했다. 핵심은 AI가 생성한 결과물이 정해진 품질과 보안 기준을 통과해야 다음 단계로 넘어갈 수 있도록 자동화된 검증 체계를 구축하는 것이다.
일반적인 코드나 문서 수정은 자동검사에 맡기되, 보안 정책이나 거버넌스 등 중요한 변경사항은 반드시 사람의 승인을 거치도록 구분했다. 사람이 모든 코드를 일일이 검토하기 어려운 만큼 중요도에 따라 검증과 승인 단계를 나눠 통제한다는 것이다.
즉 사람이 방향을 정하고 마스터 에이전트가 업무를 조율하며, 하위 에이전트가 실행하고 소프트웨어 팩토리가 결과를 검증하는 방식이다. 이 과정에서 축적된 결정과 교훈은 다시 마스터 레포지토리에 저장돼 다음 작업에 활용된다.
그는 "맥락을 설계해야 한다. AI가 어떤 정보를 바탕으로 판단하고 작업하는지, 과거의 결정과 지식을 어떻게 활용할 수 있는지 설계하는 것이 중요하다"며 "특히 AI의 실수를 사람의 주의력에만 의존해 막는 것이 아니라, 자동검사와 승인 체계를 통해 시스템적으로 통제해야 한다"고 강조했다.
마지막으로 서동진 팀장은 "AI는 도구이지, 역량이 아니다"라며 "AI가 만든 결과물을 자신의 역량으로 착각해서는 안 된다. 오히려 AI를 활용하는 과정에서 시스템을 이해하고 설계할 수 있는 능력을 키워야 한다. 설명할 수 있는 사람으로 남아라"고 조언했다.




