Multi-Agent 04
Agent의 역할 혼합 문제: 똑똑함이 놓치는 것들
한 모델이 똑똑하면 스스로 계획하고 만들고 평가해도 충분해 보인다.
근거 · 교안 p12-p13
1장: 역할 혼합, 무엇이 문제일까?
솔라의 시선이 테이블 위에 쏟아진 직소 퍼즐 조각들 위에서 길을 잃고 헤맸다. 수백 개의 조각들이 제각기 다른 모양과 색깔을 뽐내며 뒤섞여 있었다. 분명 멋진 풍경화가 될 운명이었지만, 지금은 그저 혼돈 그 자체였다. 솔라는 팔짱을 끼고 한숨을 내쉬었다. 얼마 전, ‘똑똑한 만능 Agent’에 대한 글을 흥미롭게 읽었던 기억이 떠올랐다. 글에서는 단일 Agent가 계획부터 실행, 평가까지 모든 것을 스스로 처리할 수 있다고 설명했다. 그게 바로 지능의 증거라고.
“이것도 마찬가지 아닐까?”
혼잣말이 튀어나왔다.
“정말 똑똑하다면, 이걸 딱 보고 전체 그림을 그려낸 다음 한 번에 맞출 수 있어야지. 계획 세우고, 조각 찾고, 맞는지 확인하고… 이걸 따로따로 하는 게 오히려 더 번거롭고 똑똑하지 않은 방법 같단 말이야.”
솔라는 자신의 생각에 고개를 끄덕였다. 만능인 사람을 유능하다고 여기듯, 뛰어난 AI라면 모든 역할을 한 번에 해내는 게 당연해 보였다. 역할을 굳이 나누는 건, 능력이 부족할 때나 쓰는 고육지책이 아닐까.
그때, 조용히 다가온 루나가 솔라의 어깨너머로 퍼즐 조각들을 내려다보았다.
“계속 여기 있었네. 잘 안 돼?”
“언니, 봐봐. 이 퍼즐 꼭 ‘똑똑한 척하는 Agent’ 같아. 설명서에는 분명히 멋진 그림이 된다고 하는데, 현실은 그냥 뒤죽박죽이잖아. 내 생각엔 진짜 똑똑한 Agent라면 이렇게 헤매지 않을 것 같거든. 그냥 한 번에 쭉, 하고 끝내버려야지.”
솔라는 손으로 허공에 커다란 원을 그리며 말했다. 한번에 모든 것을 처리하는, 그런 압도적인 지능의 이미지를 그리고 있었다.
루나는 말없이 퍼즐 상자를 들어 그림을 잠시 들여다보더니, 다시 어지러운 퍼즐 조각들로 시선을 옮겼다.
“재밌는 생각이네. 그럼 우리 실험 한번 해볼까? 솔라, 네가 생각하는 ‘진짜 똑똑한 방식’으로.”
루나는 손목시계를 풀어 테이블 위에 올려놓았다.
“앞으로 5분 동안, 머릿속에 떠오르는 대로, 가장 효율적이라고 생각하는 방식으로 퍼즐을 맞춰봐. 어떤 규칙도 없이. 그냥 ‘완성’이라는 목표만 생각해.”
“좋아! 그게 바로 지능이지!”
솔라는 자신만만하게 소매를 걷어붙였다. 먼저 눈에 띈 하늘색 조각을 집어 들었다. 그림에서 하늘이 있던 위치를 떠올리며 비슷한 조각을 찾기 시작했다. 그러다 문득 테두리 조각을 먼저 맞추는 게 낫겠다는 생각이 스쳤다. 솔라는 하늘색 조각을 내려놓고 평평한 면이 있는 조각들을 뒤적였다. 테두리 조각 두 개를 찾아 맞추는 데 성공하자 뿌듯함이 밀려왔다. 하지만 곧바로 옆에 붙일 조각이 보이지 않자 다시 막막해졌다. 이번에는 그림 속 붉은 지붕이 눈에 들어왔다. ‘아, 지붕부터 공략해볼까?’ 솔라는 다시 목표를 바꿔 붉은색 조각들을 모으기 시작했다.
5분이 흘렀다. 테이블 위에는 겨우 테두리 조각 서너 개와, 여기저기 흩어진 채 외롭게 놓인 붉은 조각 몇 개가 전부였다. 솔라는 숨을 몰아쉬며 의자에 털썩 주저앉았다. 머릿속은 엉망이었고, 진척은 거의 없었다. 생각은 계속 바뀌었고, 손은 허둥댔다.
루나는 가만히 솔라를 보다가 이번엔 다른 제안을 했다.
“자, 이제 다 잊고. 새로운 규칙을 적용해 보자. 이번 5분 동안은, 딱 한 가지 일만 하는 거야. ‘모든 테두리 조각을 찾아 그림이 보이게 뒤집어 놓기.’ 절대로 조각을 맞춰서는 안 돼. 눈에 뻔히 보이는 짝이 있어도 참아야 해.”
“맞추면 안 된다고? 왜?”
“그냥 규칙이야. 이번 5분은 ‘계획’을 위한 준비 단계니까.”
솔라는 반신반의하며 다시 퍼즐 조각 더미로 손을 뻗었다. 이번에는 목표가 아주 명확했다. 평평한 면을 가진 조각을 찾아서 뒤집는다. 다른 생각은 할 필요가 없었다. 짝을 찾으려는 유혹, 다른 색깔 뭉치에 대한 미련을 애써 누르며 기계적으로 테두리 조각만 골라냈다. 5분이 지나자, 꽤 많은 수의 테두리 조각들이 그림 면을 위로 한 채 테이블 가장자리에 정렬되었다.
“이제 다음 5분. 이번엔 테두리 조각들을 ‘연결’하는 일만 해.”
루나의 말에 솔라는 아까와는 전혀 다른 감각으로 퍼즐을 맞추기 시작했다. 이미 눈앞에 정렬된 부품들이 있으니, 전체적인 윤곽을 상상하며 제자리를 찾아가는 과정은 훨씬 수월했다. 이전처럼 막막하지 않았다. 막히는 부분이 생겨도, 전체 조각 더미를 뒤지는 대신 눈앞의 후보군 안에서 해결할 수 있었다.
시간이 다 되었을 때, 퍼즐의 전체 테두리가 거의 완성되었다. 솔라는 완성된 테두리와 조금 전 자신이 ‘똑똑한 방식’이라며 시도했던 결과를 번갈아 보았다. 결과는 압도적으로 달랐다.
“이상하다… 분명 나중 방법은 조각을 맞춰도 되는 걸 참아가면서 일부러 일을 나눠서 한 건데. 훨씬 빠르고, 스트레스도 덜 받아.”
솔라가 중얼거렸다.
“처음엔 내가 뭘 해야 할지 ‘생각’하면서 동시에 조각을 ‘찾고’, 또 맞는지 ‘확인’하는 걸 전부 한꺼번에 했어. 그런데 두 번째는 언니가 정해준 대로 ‘찾기’만 하고, 그다음엔 ‘맞추기’만 했고.”
루나가 고개를 끄덕이며 솔라의 말을 정리해주었다.
“바로 그거야. 우리가 방금 분리한 게 바로 ‘역할’이야. 문제를 어떻게 풀지 구상하는 ‘계획(Planning)’. 계획대로 조각을 맞추는 ‘실행(Execution)’. 그리고 그림에 맞게 잘 되었는지 확인하는 ‘평가(Evaluation)’. 솔라 네가 처음 했던 방식은 이 세 가지 역할이 한 머릿속에서 뒤섞여 서로를 방해한 거야.”
솔라는 ‘아!’ 하는 작은 탄성을 내뱉었다.
“그러니까… Agent가 아무리 똑똑해도, 계획과 실행, 평가를 동시에 한꺼번에 처리하려고 하면, 내 머릿속처럼 혼란스러워지는 거구나. 지능이 높고 낮음의 문제가 아니라, 작업 방식의 문제였네.”
솔라는 다시 어지러운 퍼즐 조각들을 보았다. 이제는 그 혼돈이 다르게 보였다. 그 안에는 계획해야 할 것들, 실행해야 할 것들, 그리고 평가해야 할 것들이 뒤섞여 있었다. Agent의 행동을 볼 때도 마찬가지일 터였다. 지금 이 Agent가 ‘계획’을 하는 중인지, ‘실행’을 하는 중인지, 아니면 스스로의 결과를 ‘평가’하는 중인지 구별해서 볼 수 있는 ‘역할 식별자’라는 새로운 안경을 얻은 기분이었다.
하지만 새로운 궁금증이 고개를 들었다. 역할 분리가 중요하다는 건 알겠다. 그런데 역할이 섞이면 정확히 어떤 문제가 생기는 걸까? 계획 없이 바로 실행하면 왜 목표가 흔들리는 걸까? 또, 자기가 한 일을 스스로 평가하는 데에는 어떤 함정이 숨어 있는 걸까? 방금 전 퍼즐 맞추기에서 느꼈던 막막함과 비효율의 구체적인 이유가 궁금해졌다.
2장: 계획 없는 실행의 대가
솔라의 궁금증은 풀리지 않은 채 방 안을 맴돌았다. 어지러운 퍼즐 조각들은 이제 상자 안에 가지런히 담겨 있었지만, ‘역할 혼합’이 일으키는 문제의 실체는 여전히 안개 속에 있었다. 계획과 실행이 뒤섞이면 왜 목표가 흔들리는 걸까?
솔라의 고민을 읽기라도 한 듯, 루나는 퍼즐 상자 옆에 새로운 상자 하나를 가져다 놓았다. 나무로 된 각양각색의 블록들이 담겨 있는 상자였다. 원기둥, 정육면체, 길고 납작한 직사각형 블록까지.
“이번엔 탑 쌓기야.”
루나가 상자를 열며 말했다.
“규칙은 하나. 5분 안에 최대한 높고 안정적인 탑을 쌓는 거야.”
솔라는 지난번 퍼즐 실험의 패배를 만회할 기회라고 생각했다.
“이번엔 다를걸. 계획은 상황에 따라 유연하게 바꾸는 게 더 효율적일 수 있잖아. 실행하면서 더 좋은 방법을 발견할 수도 있고. 무조건 계획을 고수하는 건 멍청한 짓이야.”
솔라는 자신만만하게 말하며 블록 상자로 손을 뻗었다. 가장 먼저 눈에 들어온 것은 크고 묵직한 반원 모양 블록이었다. 이걸 기초로 삼으면 튼튼할 것 같았다. 솔라는 반원 블록 위에 네모난 블록들을 쌓기 시작했다. 하지만 몇 층 올라가지 않아 탑이 미세하게 흔들렸다. 둥근 바닥이 문제였다.
‘아, 처음부터 잘못 골랐네.’
솔라는 쌓았던 블록을 무너뜨리고 다시 시작했다. 이번에는 가장 넓고 납작한 직사각형 블록을 바닥에 깔았다. 안정감이 느껴졌다. 그 위로 차곡차곡 블록을 쌓아 올렸다. 순조롭게 높이가 올라가자 신이 났다. 그런데 중간쯤 쌓았을 때, 멋진 아치형 블록이 눈에 들어왔다. 저걸 중간에 넣으면 훨씬 근사해 보일 것 같았다.
‘그래, 디자인을 좀 더 멋지게 바꿔보자.’
솔라는 잠시 망설이다가, 원래 쌓으려던 네모 블록 대신 아치 블록을 조심스럽게 올렸다. 하지만 아치 위로 다시 블록을 쌓자 무게 중심이 흐트러지며 탑 전체가 위태롭게 기울었다. 솔라가 황급히 손으로 잡았지만, 결국 와르르 무너져 내리고 말았다. 5분이 지났을 때, 테이블 위에는 블록 더미와 쓰러진 탑의 잔해만이 남아있었다.
솔라는 허탈한 표정으로 무너진 블록들을 바라봤다. 유연한 계획, 즉흥적인 실행의 결과는 처참했다.
루나는 말없이 블록들을 다시 모았다. 그리고는 솔라에게 스케치북과 펜을 건넸다.
“이번엔 2분 동안, 손으로 블록을 만지지 마. 대신 이 종이에 네가 만들 탑의 설계도를 그려봐. 어떤 블록을 어디에 쓸 건지, 몇 층으로 쌓을 건지. 계획만 세우는 거야.”
솔라는 의아했지만, 루나의 말에 따라 펜을 들었다. 블록들을 눈으로 훑으며 가장 안정적인 구조를 고민했다. 넓은 블록을 아래에, 가벼운 블록을 위에. 무게 중심을 어떻게 잡을지, 어떤 모양으로 쌓아야 높이 올릴 수 있을지 머릿속으로 시뮬레이션했다. 아까 실패했던 원인들을 떠올리며 설계도를 그렸다.
2분이 지나자, 제법 그럴듯한 탑의 설계도가 완성되었다.
“자, 이제 남은 3분 동안은 이 설계도대로만 쌓아봐. 중간에 더 좋은 아이디어가 떠올라도 절대 바꾸지 마. 실행만 하는 거야.”
솔라는 조금 답답했지만, 설계도에 따라 블록을 옮기기 시작했다. 이번에는 망설임이 없었다. 어떤 블록을 써야 할지 고민할 필요도, 구조를 바꾸고 싶은 유혹과 싸울 필요도 없었다. 오직 설계도를 현실로 옮기는 ‘실행’에만 집중했다. 아까보다 훨씬 빠른 속도로 탑이 올라갔다.
시간이 다 되었을 때, 솔라의 눈앞에는 아까와는 비교도 안 될 만큼 높고 안정적인 탑이 서 있었다.
“……똑같은 시간이었는데.”
솔라가 낮은 목소리로 중얼거렸다.
“처음엔 실행하면서 계속 계획을 수정했어. 더 좋은 방법이 보이면 바로 적용하는 게 똑똑하다고 생각했지. 근데… 그게 아니었어. 블록 하나를 잘못 놓은 ‘실행의 작은 문제’ 때문에 ‘높고 안정적인 탑을 만든다’는 전체 ‘계획’이 계속 흔들렸던 거야.”
솔라는 무너진 탑의 잔해와 근사하게 서 있는 탑을 번갈아 보았다. 차이가 명확하게 보였다.
“Agent도 마찬가지겠구나. 계획과 실행이 섞여 있으면, 눈앞의 작은 성공이나 실패에 휘둘려서 원래 목표를 잃어버릴 수 있겠어. ‘코드를 생성하라’는 목표를 가진 Agent가 특정 함수 하나를 만드는 데 성공했다고 해서, 전체 프로그램의 구조를 갑자기 바꿔버리는 것처럼 말이야. 결국 뒤죽박죽인 코드가 되겠지.”
계획은 실행 과정에서 발생하는 변수들로부터 목표를 지켜주는 ‘닻’과 같은 역할을 했다. 닻 없이 항해를 시작하면, 작은 파도에도 배가 방향을 잃고 표류하는 것과 같았다. 솔라는 계획을 실행과 분리하여 먼저 단단하게 세우는 것, 즉 ‘계획 독립의 원칙’이 왜 중요한지 몸으로 깨달았다.
솔라는 자신이 만든 멋진 블록 탑을 만족스럽게 바라보았다. 그런데 탑의 꼭대기에 살짝 삐뚤게 놓인 블록 하나가 눈에 들어왔다. 스스로 만든 결과물이라 그런지, 그 정도 흠은 대수롭지 않게 느껴졌다. ‘이 정도면 완벽하지,’ 하고 생각하는 순간, 새로운 의문이 떠올랐다.
‘계획대로 잘 실행했어. 근데 내가 실행한 결과물에 작은 흠이 있다면, 나는 그걸 제대로 발견할 수 있을까? 내가 직접 만든 거니까… 왠지 더 좋게 봐주게 되는 것 같은데. 똑똑한 Agent는 자기가 만든 결과물을 스스로 평가할 때, 이런 편향에서 자유로울 수 있을까?’
3장: ‘내가 만든 결과’를 평가하는 함정
솔라가 만족스럽게 바라보던 블록 탑은 여전히 테이블 한쪽을 든든하게 지키고 있었다. 계획과 실행을 분리했을 때 얻을 수 있는 안정감의 증거처럼. 하지만 솔라의 시선은 이제 그 탑이 아닌, 자신의 노트북 화면에 고정되어 있었다. 방금 전, ‘계획 독립의 원칙’에 대한 깨달음을 정리한 짧은 글을 막 완성한 참이었다.
화면 속 글은 스스로 보기에도 제법 논리 정연했다. 탑 쌓기 실험의 과정을 생생하게 묘사하고, 계획 없는 실행이 어떻게 목표를 흔드는지, 그리고 계획을 먼저 세우는 것이 왜 중요한지를 명쾌하게 설명했다. 솔라는 자기가 쓴 글을 소리 내어 읽어보았다. 매끄럽게 잘 읽혔다.
“이 정도면 완벽하지.”
스스로 만든 블록 탑 꼭대기의 살짝 삐뚤어진 조각을 너그럽게 넘겼던 것처럼, 솔라는 자신의 글에 대해서도 후한 점수를 매겼다. 똑똑한 AI Agent도, 만약 글을 쓸 수 있다면, 이 정도의 완성도를 보이지 않을까? 스스로 결과물을 검토하고 완벽하게 다듬을 수 있는 능력이야말로 지능의 척도라고 생각했다.
“다 썼어?”
어느새 다가온 루나가 노트북 화면을 들여다보았다.
“응. 언니 덕분에 ‘계획 독립 원칙’에 대해 확실히 알았어. 그래서 정리해봤지. 어때, 완벽하지 않아? 똑똑한 Agent는 자기 검증도 이렇게 완벽하게 할 수 있을 거야.”
솔라의 목소리에는 자신감이 넘쳤다. 루나는 솔라의 글을 잠시 읽어보더니, 말없이 프린터로 향했다. 잠시 후, 따끈한 A4 용지 한 장이 출력되어 나왔다.
“화면으로 보는 거랑 종이로 보는 건 느낌이 다르거든.”
루나는 솔라에게 방금 출력한 종이와 빨간 펜을 건넸다.
“5분 줄게. 네가 쓴 글이라고 생각하지 말고, 완전히 낯선 사람의 글이라고 상상하면서 교정을 봐봐. 오탈자, 어색한 문장, 뭐든 좋아.”
“에이, 그럴 필요까지야. 내가 몇 번이나 읽어봤는데.”
투덜거리면서도 솔라는 빨간 펜을 받아 들었다. ‘어디 한번 찾아보시지’ 하는 마음으로 자신의 글을 꼼꼼히 뜯어보기 시작했다. 하지만 몇 번을 읽어도 눈에 거슬리는 부분은 거의 없었다. 겨우 “‘~의’를 불필요하게 쓴 곳 한 군데와, 미세한 오타 하나를 찾아내 동그라미를 쳤다. 역시, 완벽에 가까웠다.
5분이 지나고, 솔라는 의기양양하게 종이를 루나에게 내밀었다.
“이거 봐. 거의 없지?”
루나는 아무 말 없이 그 종이를 받아 들고, 이번에는 파란 펜을 꺼내 들었다. 그리고 솔라가 했던 것과 똑같이 종이를 읽어 내려가기 시작했다. 솔라의 눈앞에서, 루나의 파란 펜이 멈칫거리며 밑줄을 긋고, 단어 위에 다른 단어를 적고, 문장 순서를 바꾸는 화살표를 그렸다. 솔라가 찾은 빨간 동그라미 두 개와는 비교도 안 될 만큼 많은 파란색 흔적들이 종이를 채워나갔다.
잠시 후, 루나가 파란 펜을 내려놓고 종이를 솔라 쪽으로 스윽 밀었다.
솔라는 자신의 눈을 의심했다. 종이는 파란색 잉크로 얼룩덜룩했다. 분명히 매끄럽다고 생각했던 문장은 ‘의미가 모호함’이라는 지적을 받았고, 완벽한 단어 선택이라고 여겼던 곳에는 ‘더 적절한 표현:’이라는 제안이 적혀 있었다. 자신이 발견하지 못했던 오탈자도 두 개나 더 있었다.
“아니, 이건… 내가 몇 번이나 읽었는데, 왜 안 보였지? 특히 이 오타는… 말이 안 되는데.”
솔라는 충격에 빠져 중얼거렸다.
“보이지 않았던 게 아닐 거야. 보고도 인식하지 못했던 거겠지.”
루나의 차분한 말에 솔라는 고개를 들었다.
“나는 이 글을 통해 내가 ‘무슨 말을 하고 싶었는지’ 명확하게 알고 있었어. 그래서 글자를 읽는 게 아니라, 내 머릿속에 있는 ‘의도’를 읽고 있었던 거야. 중간에 단어가 빠져 있거나 문장이 어색해도, 내 뇌가 저절로 완벽한 문장으로 보정해서 이해해 버린 거지.”
솔라는 파란색으로 수정된 부분을 손가락으로 짚으며 말했다.
“하지만 언니는 내 의도를 모르잖아. 오직 종이 위에 쓰인 ‘결과물’만으로 내용을 파악해야 하니까, 작은 오류나 어색한 흐름이 훨씬 잘 보였던 거고.”
그 순간, 솔라는 중요한 사실을 깨달았다. 이것은 똑똑함의 문제가 아니었다. 창작자가 자신의 창작물을 평가할 때 빠지기 쉬운 함정, 즉 ‘내가 만든 결과’에 대한 과신과 편향의 문제였다.
“Agent도 마찬가지겠네. 아무리 뛰어난 Agent라도, 자기가 생성한 코드나 보고서를 스스로 평가할 때는 이런 함정에 빠질 수밖에 없겠어. 자기가 어떤 논리적 흐름으로 그 결과를 만들었는지 그 ‘과정’을 알고 있으니, 결과물에 존재하는 미세한 오류나 논리적 비약을 스스로 발견하기는 극도로 어려운 거야. ‘당연히 맞겠지’라고 생각해 버리는 거지.”
솔라의 시선은 루나의 손에 들린 파란 펜으로 향했다. 그것은 단순한 펜이 아니었다. 주관적인 만족감을 넘어, 객관적인 품질을 확보해주는 외부의 시선이자, 독립된 평가 장치였다.
“실행(Execution)을 한 주체와 평가(Evaluation)를 하는 주체가 같을 때 생기는 필연적인 문제야. 그래서 결과물의 품질을 보장하려면, 반드시 ‘객관성을 확보하는 장치’가 필요해. 지금은 내가 그 역할을 해준 거고, Agent 시스템에서는 별도의 평가 Agent를 두는 게 그 방법이 될 수 있지.”
루나의 말에 솔라는 고개를 끄덕였다. 역할 분리는 단순히 계획과 실행을 나누는 것에서 그치지 않았다. 실행과 평가를 분리하는 것 역시 그에 못지않게 중요했다.
그런데 새로운 의문이 떠올랐다. 계획은 실행 도중에 흔들리고, 평가는 자기 과신에 빠져 편향된다. 이 두 가지 문제가 한꺼번에 일어난다면? 계획 단계부터 평가 단계까지, 역할의 경계가 완전히 무너진 단일 Agent는 대체 어떤 결과물을 내놓게 될까? 같은 질문을 던져도 매번 다른 엉뚱한 답을 내놓게 되는 건 아닐까? 그 혼란의 총체적인 모습이 궁금해졌다.
4장: 무너지는 추론, 흔들리는 결과
솔라는 거실 테이블 위에 놓인 파란 펜의 흔적이 가득한 자신의 글을 내려다보았다. ‘내가 만든 결과’에 대한 맹신이 얼마나 쉽게 오류를 눈감아 주는지 깨닫게 해준 증거였다. 계획은 실행 중에 흔들리고, 평가는 자기 과신에 빠진다. 솔라는 이 두 가지 문제가 동시에, 한꺼번에 일어나는 상황을 상상했다. 계획(Planning), 실행(Execution), 평가(Evaluation)의 경계가 완전히 무너진 단일 Agent는 어떤 모습일까?
생각에 잠겨있던 솔라를 부른 건 고소한 빵 냄새였다. 부엌으로 가보니, 루나가 식탁 위에 이상한 광경을 펼쳐놓고 있었다. 갓 구운 식빵, 슬라이스 햄, 치즈, 토마토, 양상추가 정확히 세 무더기로 나뉘어 있었다. 그리고 그 옆에는 빈 메모 카드 석 장이 놓여 있었다. 마치 세 번의 동일한 실험을 준비한 것처럼.
“이건 또 뭐야?”
솔라가 묻자, 루나는 턱짓으로 재료들을 가리켰다.
“‘오늘의 특별 샌드위치 만들기’. 지금부터 세 번 만들 거야. 규칙은 딱 하나. 머릿속으로 계획하고, 손으로 만들고, 맛과 모양을 평가하는 모든 과정을 동시에, 네가 가장 똑똑하다고 생각하는 방식으로 진행해봐.”
솔라는 피식 웃었다. 똑같은 재료로 똑같은 샌드위치를 세 번 만드는 것뿐이었다. 블록 쌓기나 퍼즐 맞추기처럼 복잡하지도 않았다.
“이거야말로 진짜 똑똑한 Agent가 잘하는 거 아니야? 같은 입력값이 주어지면, 항상 일관되게 최고의 결과물을 내놓는 것. 문제없어. 세 번 다 완벽하게 똑같은 명품 샌드위치를 만들어 주지.”
솔라는 자신만만하게 첫 번째 재료 더미로 손을 뻗었다.
첫 번째 시도. 솔라는 가장 먼저 빵 위에 양상추를 올렸다. 신선함이 생명이지. 그 위에 토마토, 햄, 치즈 순으로 쌓았다. 그런데 토마토의 수분이 양상추에 스며들어 축축해지는 게 느껴졌다. ‘아, 순서가 잘못됐네.’ 속으로 생각하며 빵을 덮었다. 완성된 샌드위치는 조금 눅눅해 보였다. 솔라는 옆에 놓인 카드에 ‘양상추 먼저 올리면 눅눅함’이라고 휘갈겨 썼다.
두 번째 시도. 이제 실패 원인을 안다. 솔라는 빵 위에 치즈와 햄을 먼저 올려 방수층을 만들었다. 그 위에 토마토와 양상추를 쌓았다. 훨씬 안정적이었다. ‘그래, 이게 정답이네.’ 만족하며 빵을 덮으려던 순간, 문득 더 좋은 아이디어가 떠올랐다. ‘햄을 살짝 구우면 더 맛있지 않을까?’ 솔라는 쌓았던 재료를 다시 내리고 햄을 프라이팬에 올렸다. 즉흥적인 계획 변경이었다. 두 번째 샌드위치는 첫 번째보다 훨씬 먹음직스러웠지만, 그 과정에서 원래 계획에 없던 ‘굽기’ 단계가 추가되었다. 카드에는 ‘햄은 구울 것’이라는 메모가 더해졌다.
세 번째 시도. 이제 솔라는 자신만의 ‘필승 공식’을 가졌다고 생각했다. 구운 햄, 방수층 역할을 하는 치즈, 신선한 야채. 완벽한 계획이었다. 솔라는 능숙하게 재료를 쌓아 올렸다. 마지막으로 빵을 덮고, 깔끔하게 반으로 자르려던 찰나. ‘어? 대각선으로 자르면 단면이 더 예쁘게 보이지 않나?’ 하는 생각이 스쳤다. 솔라는 칼의 방향을 틀어 샌드위치를 대각선으로 잘랐다. 확실히 더 예뻤다. 하지만 이것 역시 즉흥적인 평가와 실행의 결과였다.
루나가 말했다.
“자, 세 개의 샌드위치랑 네가 쓴 메모 카드를 나란히 놔봐.”
식탁 위에는 세 개의 ‘오늘의 특별 샌드위치’가 놓였다. 첫 번째는 조금 눅눅했고, 두 번째는 햄이 구워졌으며, 세 번째는 대각선으로 잘려 있었다. 이름은 같았지만, 모양도, 구조도, 심지어 맛도 미세하게 다를 터였다. 옆에 놓인 메모 카드들도 제각각이었다. 첫 번째 카드에는 실패에 대한 기록만, 두 번째 카드에는 새로운 아이디어 추가, 세 번째 카드에는 아무것도 적혀있지 않았다.
솔라는 그 광경을 멍하니 바라보았다.
“이상하다… 분명 같은 재료로 같은 목표를 가지고 시작했는데… 왜 결과물이 전부 다르지? 심지어 내가 뭘 했는지 기록한 과정조차 일관성이 없어.”
솔라는 스스로의 행동을 복기했다.
“첫 번째 시도의 ‘눅눅하다’는 평가가 두 번째 시도의 ‘계획’을 바꿨어. 두 번째 실행 중에 떠오른 ‘구우면 좋겠다’는 아이디어가 다시 계획을 흔들었고. 세 번째 실행 막바지에 ‘예쁘게 자르자’는 평가가 최종 결과물의 형태를 또 바꿨네. 결국 계획, 실행, 평가가 뒤섞여서 서로의 꼬리를 무는 동안, 내 추론 과정 자체가 제멋대로 흔들렸던 거야.”
똑똑한 Agent는 항상 일관된 최고의 결과를 내야 한다는 솔라의 믿음이 깨지는 순간이었다.
“바로 그게 역할 혼합이 추론 품질에 미치는 가장 큰 영향이야. 바로 ‘결과의 비일관성’과 ‘품질 편차’.”
루나가 세 개의 다른 샌드위치를 가리키며 말했다.
“단일 Agent가 P/E/E를 동시에 처리하면, 매번 다른 내부 상태와 문맥의 영향을 받아. 방금 네가 겪은 것처럼, 실행 중의 작은 발견이 계획 전체를 뒤엎고, 주관적인 평가가 최종 결과물을 바꿔버리지. 그래서 똑같은 입력을 주더라도, 내부의 논리 흐름이 매번 미세하게 달라져서 완전히 다른 판단을 내리거나 결과물의 품질이 들쭉날쭉하게 되는 거야.”
솔라는 고개를 끄덕였다. 이제 Agent가 같은 질문에 매번 다른 대답을 내놓는 현상을 다르게 볼 수 있을 것 같았다. 그것은 창의성이 아니라, 내부의 역할들이 뒤엉켜 목표를 향한 항로를 이탈하고 있다는 위험 신호일 수 있었다. 결과물의 일관성이 흔들리는 지점을 포착하면, 역할 혼합 문제를 진단할 수 있는 ‘결과 일관성 측정 도구’를 손에 넣은 셈이었다.
계획 없는 실행의 위험성, 자기 평가의 함정, 그리고 그 모든 것이 합쳐졌을 때 나타나는 총체적인 혼돈. 솔라는 역할 혼합이 초래하는 문제들을 이제 명확하게 식별할 수 있었다.
하지만 여전히 마지막 의문이 남았다. 이 모든 문제점은 알겠다. 그래서 역할을 분리하는 것이 ‘좋은 해결책’이라는 것도. 하지만 그것이 ‘유일한’ 혹은 ‘본질적인’ 해결책일까? 지금의 기술적 한계 때문에 임시로 사용하는 가드레일 같은 것 아닐까? 정말 압도적으로 똑똑한 미래의 Agent가 나타난다면, 이 모든 혼돈마저 스스로 제어하며 더 뛰어난 결과를 만들 수도 있지 않을까? ‘똑똑함’이라는 능력만으로 이 모든 문제를 극복할 수는 없는 걸까? 역할 분리는 왜 단순히 좋은 선택이 아니라, 필수적인 설계 원칙이 되어야만 하는 걸까?
5장: ‘똑똑함’을 넘어선 역할 분리의 이유
솔라의 시선은 거실 테이블 위에 어지럽게 놓인 세 개의 샌드위치 접시에 머물러 있었다. 눅눅한 첫 번째, 햄이 구워진 두 번째, 대각선으로 잘린 세 번째. 같은 목표, 같은 재료로 시작했지만, 결과는 모두 제각각이었다. 계획과 실행, 평가가 뒤섞인 머릿속의 혼돈이 만들어낸 비일관성의 증거였다.
솔라는 지난 며칠간의 실험들을 떠올렸다. 계획 없는 실행은 목표를 흔들었고, 자기 평가는 오류에 눈감았으며, 이 모든 것이 합쳐지자 추론의 일관성마저 무너졌다. 이제 역할 분리가 ‘좋은 해결책’이라는 사실은 분명해 보였다.
하지만 솔라의 마음속에는 마지막 의문 하나가 끈질기게 남아 있었다. 그녀는 스마트폰을 들어 ‘초지능(Superintelligence) AI’에 대한 기사를 검색했다. 화면에는 인간의 지능을 아득히 뛰어넘는 미래 AI의 가능성을 묘사하는 문장들이 가득했다.
“결국 지금 우리가 겪는 문제들은 다… 기술의 한계 때문이 아닐까?”
솔라가 혼잣말처럼 중얼거렸다.
“역할 분리라는 건, 아직 AI가 충분히 똑똑하지 않으니까 어쩔 수 없이 사용하는 안전장치 같은 거 아닐까? 정말 압도적으로 똑똑한 Agent가 나타나면, 이 모든 혼돈마저 스스로 관리하면서 더 나은 결과를 만들 수도 있잖아. ‘똑똑함’이라는 능력 하나만으로 이 모든 문제를 결국 극복할 수 있지 않을까?”
솔라의 질문에 루나는 대답 대신 창고에서 커다란 플랫팩 가구 상자를 꺼내 왔다. ‘DIY 책장’이라고 적힌 그림이 그려져 있었다.
“솔라. 네가 방금 말한 ‘압도적으로 똑똑한 Agent’가 되어보는 건 어때?”
루나는 상자를 열어 온갖 종류의 나무판자와 나사, 부품들을 거실 바닥에 쏟아냈다. 그리고는 조립 설명서를 솔라에게 건넸다.
“지금부터 10분. 너 혼자서 이 설명서를 보고, 계획하고, 부품을 찾아서 조립하고, 제대로 됐는지 확인하는 모든 걸 해봐. 네 안의 ‘초지능’을 믿고.”
“이게 다 무슨 상관이야…”
투덜거리면서도 솔라는 설명서를 펼쳤다. ‘1단계: 측면 패널(A)과 하단 패널(B)을 나사(C)로 연결하시오.’ 간단해 보였다. 솔라는 A라고 표시된 패널을 찾았다. 하지만 비슷한 모양의 패널이 두 개 더 있었다. 한참을 비교한 끝에 진짜 A를 찾아냈다. 이제 나사를 조일 차례. 그런데 구멍이 잘 맞지 않았다. 힘을 주어 돌리려다 패널을 거꾸로 들었다는 사실을 깨달았다. 다시 방향을 바로잡고 나사를 조였다. 겨우 1단계를 끝냈을 뿐인데 벌써 땀이 났다. 설명서를 다시 보고, 부품 더미를 뒤지고, 조립하고, 갸우뚱하며 다시 확인하는 과정의 연속이었다. 10분이 지났을 때, 책장의 형태는커녕 어설프게 연결된 패널 두 개만이 바닥에 뒹굴고 있었다.
“봐. 역시 안 되잖아. 내가 똑똑하지 않아서 그런 게 아니라, 이건…”
솔라가 말을 잇지 못하고 헐떡였다.
루나는 말없이 솔라 옆에 앉아 널브러진 부품들을 정리했다.
“방금 네가 한 건, ‘더 똑똑해지려고’ 노력한 거야. 혼자서 계획도 보고, 실행도 하고, 평가도 하면서, 그 모든 걸 더 빨리, 더 정확하게 하려고 애썼지. 그게 네가 생각하는 ‘초지능 Agent’의 방식이고.”
루나는 설명서를 자신의 무릎 위에 올려놓았다.
“이제 방식을 바꿔보자. 더 똑똑해지려고 노력하는 대신, 우리의 ‘역할’을 바꾸는 거야. 나는 지금부터 ‘설계자(Planner)’와 ‘검수자(Evaluator)’야. 나는 설명서만 보고, 너에게 정확한 지시를 내리고, 네가 한 일이 맞는지 확인할 거야.”
루나는 솔라를 보며 말했다.
“그리고 너는 ‘실행자(Executor)’야. 네 임무는 내가 내리는 지시를 그대로 수행하는 것, 그 이상도 이하도 아니야. 다음 단계가 뭔지 궁금해하지도 말고, 이게 맞나 의심하지도 마. 오직 ‘실행’에만 집중해.”
“그냥 시키는 대로만 하라고?”
솔라는 반신반의했지만, 다시 공구를 잡았다.
“준비됐어, 실행자?” 루나가 물었다. “응.” “좋아. 왼쪽에서 세 번째 패널을 들어서, 구멍 네 개가 위로 오도록 세워.”
솔라는 아무 생각 없이 지시에 따랐다.
“아주 좋아. 이제 작은 상자에서 가장 긴 나사 네 개를 꺼내.”
루나의 지시는 군더더기 없이 명확했다. 솔라는 부품을 찾기 위해 더미를 뒤질 필요도, 설명서를 해독하느라 머리를 싸맬 필요도 없었다. 루나가 불러주는 좌표에 따라 부품을 가져오고, 루나가 지정해준 위치에 나사를 조였다. 이전처럼 혼자 끙끙댈 때와는 비교도 안 될 만큼 빠른 속도로 책장의 뼈대가 만들어지기 시작했다.
어느새 책장의 형태가 거의 완성되었다. 마지막 상판을 올리고 나사를 조이자, 근사한 책장이 완성되었다. 시계를 보니 10분도 채 걸리지 않았다.
솔라는 자신이 방금 조립한 단단한 책장과, 조금 전 혼자 낑낑대며 만들었던 어설픈 패널 덩어리를 번갈아 보았다.
“이상하다… 분명 나중에는 내가 생각하는 걸 멈췄는데… 훨씬 더 나은 결과가 나왔어. 이건 단순히 행동을 바꾼 수준이 아니야.”
솔라는 중요한 차이를 깨달았다.
“처음에 혼자 할 때, 내 정체성은 ‘책장 조립하는 사람’이었어. 모든 책임을 지고 모든 과정을 신경 써야 했지. 하지만 두 번째, 언니랑 같이 할 때 내 정체성은 그냥 ‘나사 조이는 사람’이었어. 내 임무는 ‘책장 완성’이 아니라 ‘긴 나사 네 개를 구멍에 넣기’로 바뀌었던 거야. 아예 다른 존재가 된 거였어.”
그 순간, 솔라는 ‘똑똑함’이라는 가정 너머에 있는 진실을 보았다.
“단일 Agent의 지능을 높이는 건, 혼자 책장을 조립하는 사람의 손을 더 빠르게 만들거나 눈을 더 좋게 만드는 것과 같아. 물론 효율은 오르겠지. 하지만 여전히 혼자서 계획, 실행, 평가의 혼돈을 감당해야 하는 ‘정체성’은 변하지 않아. 하지만 역할을 분리하는 건… 아예 ‘설계자’, ‘실행자’, ‘검수자’라는 각기 다른 정체성을 가진 팀을 만드는 거구나. 각자는 훨씬 단순한 임무만 수행하지만, 시스템 전체는 훨씬 더 복잡하고 어려운 일을 안정적으로 해낼 수 있게 되는 거야.”
역할 분리는 부족한 지능을 보완하는 임시방편이 아니었다. 그것은 복잡한 문제를 해결하기 위해 지능을 조직하는 근본적인 ‘설계 원칙’이었다. ‘똑똑함’이라는 능력의 크기가 아니라, ‘시스템’이라는 구조의 문제였던 것이다.
솔라는 책상 위 빈 종이를 가져왔다. 그리고 조금 전 루나가 말했던 가상의 ‘스마트 리포트 작성 Agent’ 시나리오를 떠올렸다.
<Agent 시스템 역할 분리 진단 보고서>
진단 대상: All-in-One 스마트 리포트 작성 Agent (기능: 사용자 쿼리 입력 -> 자료 조사 -> 초안 작성 -> 정확성 및 가독성 수정 -> 최종 리포트 제출)
솔라는 펜을 들어 진단 항목 아래에 자신의 의견을 적어 내려가기 시작했다.
문제 진단:
- P/E 역할 혼합: ‘자료 조사(P)’와 ‘초안 작성(E)’의 경계가 모호. 충분한 조사 없이 즉흥적인 내용으로 작성을 시작할 위험. 중간에 목표가 흔들릴 수 있음.
- E/E 역할 혼합: ‘초안 작성(E)’ 주체와 ‘수정(E)’ 주체가 동일. 자기가 쓴 글의 논리적 오류나 편향을 스스로 발견하기 어려움. 결과물 품질 과신 우려.
- 결과 비일관성: 위 문제들로 인해, 같은 쿼리에도 불구하고 매번 다른 구조와 품질의 리포트를 생성할 가능성 높음.
개선 제안:
- 역할 분리 기반의 Multi-Agent 시스템으로 재설계.
- Planner (리서처 Agent): 쿼리를 분석하고 자료 조사 및 리포트 개요(Plan) 작성만 전담.
- Executor (라이터 Agent): 전달받은 개요에 따라 초안(Execution) 작성만 전담.
- Evaluator (에디터 Agent): 완성된 초안을 원본 데이터 및 품질 기준과 비교/검증(Evaluation)하여 수정 제안 또는 최종 승인만 전담.
종이 위에 명확하게 구분된 세 개의 Agent 역할을 그려 넣자, 솔라의 머릿속을 괴롭히던 마지막 의문이 안개처럼 걷혔다. 이제 그녀는 어떤 똑똑한 Agent의 설명을 듣더라도, 그 화려한 기능 뒤에 숨겨진 역할의 혼합을 발견하고 그 잠재적 문제를 진단해낼 새로운 눈을 갖게 된 것을 느꼈다. 그것은 단순히 역할을 나누는 기술을 넘어, 복잡한 시스템의 본질을 꿰뚫어 보는 ‘설계의 원칙’이었다.