Multi-Agent · 03

AI의 착각: '많을수록 좋다'는 컨텍스트 오해 풀기

컨텍스트 창이 크면 모든 문제를 넣어서 해결할 수 있다고 생각하기 쉽다.

근거 · 교안 p11

1장: 정보의 바다에서 길을 잃는 AI: 정보 과부하 문제

솔라가 노트북을 들고 거실로 뛰쳐나왔다. 화면에는 화려한 그래프와 함께 새로운 AI 모델 출시를 알리는 기사가 떠 있었다. 평소보다 한 톤 높은 목소리에는 흥분이 가득했다.

“언니, 이것 좀 봐! 드디어 컨텍스트 창이 100만 토큰인 모델이 나왔대! 이제 진짜 두꺼운 책 한 권을 통째로 넣고 질문해도 다 대답해 주겠는데? 그냥 모든 자료를 다 넣고 돌리면 해결 못 할 문제가 없겠어.”

솔라는 의기양양하게 선언했다. 기술의 발전이 곧 모든 문제의 해결책이 될 거라는 믿음이 목소리에서 묻어났다. 루나는 소파에 앉아 읽던 책에서 눈을 떼고, 솔라가 내미는 노트북 화면을 잠시 들여다보았다. 그리고는 조용히 고개를 끄덕인 후, 솔라를 바라보았다.

“엄청나네. 기술 발전 속도가 정말 빨라.” 루나가 말했다. “솔라, 잠깐 네 책상을 한번 떠올려볼래?”

“내 책상? 갑자기 그건 왜?”

솔라가 의아한 표정을 지었다.

“네가 지금 당장 외출해야 해서 집 열쇠를 찾아야 한다고 상상해 봐. 그런데 네 책상 위에는 어제 읽던 책, 며칠 전에 받은 리포트, 지난 학기 강의 노트, 필통, 그리고 어릴 때부터 모아온 기념품 상자까지 전부 다 올라와 있어. 열쇠는 그중 어딘가에 있고.”

루나의 말에 솔라는 미간을 살짝 찌푸렸다. 상상만으로도 머리가 복잡해지는 기분이었다.

“음… 찾을 수는 있겠지. 시간이 좀 걸리겠지만.”

“맞아. 시간이 충분하다면 언젠가는 찾을 수 있을 거야.” 루나가 말을 이었다. “하지만 AI에게 주어진 시간과 자원은 무한하지 않아. 더 중요한 건, 그 모든 물건이 한꺼번에 네 시야에 들어온다면 ‘열쇠’라는 물건이 다른 물건들보다 더 중요하게 보일까? 아니면 그냥 수많은 물건 중 하나로 보일까?”

솔라는 잠시 입을 다물었다. 급하게 열쇠를 찾아야 하는 상황에서, 눈앞에 펼쳐진 수많은 물건들은 모두 똑같은 ‘방해물’로 보일 터였다. 소중한 기념품이든, 중요한 강의 노트든, 지금 당장은 열쇠를 가리는 장애물일 뿐이다.

“그냥… 다 똑같은 물건 더미로 보이겠지. 빨리 열쇠만 찾아야겠다는 생각밖에 안 들 거야.”

“바로 그거야.” 루나가 조용히 말했다. “AI의 컨텍스트 창도 비슷해. 사용자의 현재 질문, AI가 스스로 만들어낸 중간 생각들, 이전에 나눴던 대화 기록, 웹에서 검색한 결과, 다른 도구를 실행하고 얻은 값… 이 모든 게 한꺼번에 컨텍스트라는 공간에 들어가. 네 책상 위의 물건들처럼 말이야.”

루나는 솔라의 노트북 화면을 가리켰다.

“컨텍스트 창이 커진다는 건, 그 책상이 운동장만큼 넓어진다는 뜻이야. 물론 더 많은 물건을 올려놓을 수는 있지. 하지만 그만큼 찾아야 할 물건도, 찾지 않아도 될 물건도 한꺼번에 늘어나는 거야. AI는 그 정보의 바다 속에서 지금 당장 답을 찾는 데 꼭 필요한 ‘핵심 정보’를 골라내야 해. 네가 열쇠를 찾아야 했던 것처럼.”

그제야 솔라의 얼굴에 아, 하는 표정이 떠올랐다. 단순히 정보를 많이 담을 수 있다는 사실에만 집중한 나머지, 그 정보들을 처리해야 하는 AI의 입장은 생각하지 못했던 것이다.

“그러니까… 정보가 많아지는 게 마냥 좋은 게 아니구나. 오히려 너무 많아서 정말 중요한 핵심 정보와 그다지 중요하지 않은 부수 정보가 뒤섞여 버리면, AI가 무엇에 집중해야 할지 몰라 헤매게 될 수도 있다는 거네.”

“맞아. 그걸 ‘정보 과부하’라고 부를 수 있겠지. AI의 판단력이 흐려지는 거야. 마치 어수선한 방에서 중요한 물건을 못 찾는 사람처럼.”

솔라는 고개를 끄덕였다. 이제 ‘많은 정보가 좋다’는 단순한 생각이 얼마나 순진했는지 깨달았다. 정보의 양이 아니라, 그 안에서 핵심을 가려내는 능력이 문제의 본질이었다. 그녀는 자신의 처음 생각을 수정하며 중얼거렸다. 긴 컨텍스트는 중요한 것과 그렇지 않은 것을 뒤섞어, 오히려 판단을 어렵게 만들 수 있다.

그러다 문득 새로운 의문이 떠올랐다.

“알겠어. 정보가 너무 많으면 판단력이 흐려져서 엉뚱한 답을 하거나 핵심을 놓칠 수 있다는 건 이해했어. 그런데 언니, 가끔 AI랑 길게 대화하다 보면 앞에서 자기가 했던 판단을 나중에 가서 뒤집는 경우가 있잖아. 이건 정보가 많아서 헷갈리는 거랑은 좀 다른 문제 아냐? 꼭 자기가 무슨 말을 했는지 잊어버린 것처럼 말이야.”

2장: 어제와 다른 오늘: 추론의 일관성 감소

솔라의 질문이 끝나자, 루나는 말없이 노트북을 자기 쪽으로 돌려 화면을 잠시 바라보았다. 방금 전까지 솔라가 흥분해서 보여주던 AI 모델 출시 기사 창은 이미 닫혀 있었다. 대신 루나는 새로운 채팅창을 열고 무언가를 빠르게 입력하기 시작했다. 솔라가 의아한 표정으로 화면을 들여다보자, 루나가 만든 가상의 시나리오가 눈에 들어왔다.

상황은 이러했다. ‘신제품 출시를 위한 두 가지 마케팅 제안서(A, B) 중 하나를 선택해야 한다.’ 루나는 먼저 AI에게 A 제안서의 장점을 요약한 몇 줄의 정보를 입력했다. ‘A안은 혁신적인 접근 방식으로 젊은 층에 어필할 가능성이 높다.’ AI는 즉각적으로 ‘현재 정보에 따르면 A안이 더 유망해 보입니다.‘라고 답했다. 그러자 루나는 채팅을 계속 이어갔다. 하지만 다음 내용은 마케팅과는 직접적 관련이 없는 정보들이었다. 작년 분기별 실적 보고서 요약, 경쟁사의 동향에 대한 일반적인 뉴스 기사, 심지어는 프로젝트 팀원들의 휴가 일정까지. 스크롤이 한참 내려갈 정도로 긴 텍스트가 컨텍스트 창을 채웠다.

솔라는 언니가 무엇을 하려는지 짐작하며 숨을 죽이고 지켜봤다. 한참의 정보 입력이 끝난 후, 루나는 마지막으로 딱 한 줄을 추가했다. ‘참고로 B안은 기존 고객층에게 안정적인 반응을 얻을 수 있습니다.’ 그리고는 처음과 똑같은 질문을 다시 던졌다.

“자, 그래서 최종적으로 어떤 제안을 선택하는 것이 좋을까?”

솔라의 눈이 화면에 고정되었다. AI가 잠시 망설이는 듯하더니, 새로운 답변을 내놓았다.

‘제공된 모든 정보를 종합적으로 고려했을 때, 안정성을 고려하여 B안을 선택하는 것이 더 신중한 결정으로 판단됩니다.’

“뭐야?” 솔라가 자신도 모르게 소리쳤다. “방금 전까지는 A안이 유망하다고 했잖아! 자기가 한 말을 그냥 까먹은 거야?”

화면 속 AI는 조금 전의 판단을 기억하지 못하는 사람처럼 태연하게 B안의 장점을 설명하고 있었다. 정보가 많아져서 핵심을 놓치는 것과는 또 다른 종류의 당혹감이 밀려왔다. 이건 단순한 실수가 아니라, 명백한 입장 번복이었다.

“까먹었다기보다는… 지금 AI에게 보이는 세상이 달라진 거야.”

루나가 조용히 입을 열었다. 그녀는 노트북 화면을 톡톡 두드렸다.

“솔라, 네가 아주 긴 보고서를 읽는다고 상상해 봐. 수백 페이지짜리 시장 분석 보고서야. 처음 10페이지를 읽고는 ‘A 전략이 확실히 효과적이겠군’이라는 잠정적인 결론을 내렸어. 그런데 그 뒤로 90페이지에 걸쳐 온갖 세부 데이터, 다른 팀의 엇갈리는 의견, 예상치 못한 시장 변수 같은 정보들을 계속 읽게 돼. 그리고 마지막 페이지에 이르렀을 때, 처음의 그 확신이 그대로 남아있을까?”

솔라는 루나의 비유를 따라 상상해 보았다. 처음의 강렬했던 인상과 판단은 뒤이어 쏟아지는 정보의 파도 속에서 점점 희미해질 것이다. 보고서의 마지막 부분에 등장한 새로운 변수나 데이터가 오히려 더 큰 영향력을 발휘할 수도 있었다. 초반의 결론을 완전히 잊어버린 것은 아니지만, 최종 판단을 내리는 시점에서는 그 중요도가 현저히 낮아져 있을 터였다.

“아니… 아마 생각이 좀 바뀌거나, 최소한 처음만큼 확신하진 못할 것 같아. 마지막에 읽은 내용에 더 마음이 흔들릴 수도 있고.”

“AI도 비슷해.” 루나가 말했다. “AI는 기억을 잃는 게 아니야. 처음 내린 ‘A안이 유망하다’는 판단도 여전히 컨텍스트 안에 텍스트로 존재해. 하지만 컨텍스트가 이렇게 길어지면, AI의 ‘주의(Attention)‘가 분산돼. 모든 정보가 하나의 거대한 평면 위에 놓여있는 것과 같아서, 시간적으로 가장 최근에 입력된 정보나, 혹은 다른 정보들 사이에서 우연히 더 두드러져 보이는 정보에 더 큰 가중치를 두게 될 수 있어.”

그제야 솔라는 고개를 끄덕였다. ‘기억력’의 문제가 아니었다. 컨텍스트라는 거대한 정보의 바다 속에서, 초반에 내린 중요한 판단이 나중에 추가된 정보들에 의해 ‘상대적으로’ 덜 중요하게 밀려나 버리는 현상이었다. 마치 중요한 회의록 앞부분이, 뒤에 이어진 사소한 메모 더미에 파묻혀 보이지 않게 되는 것처럼.

“그럼 컨텍스트가 길어질수록, 앞에서 내린 결정과 모순되는 새로운 판단을 내릴 가능성이 커진다는 거네. 자기가 했던 말을 자기가 부정하는 셈이 될 수도 있고.” 솔라가 자신의 깨달음을 정리하며 말했다. “이건 ‘판단 일관성’의 문제구나.”

“맞아. 그걸 ‘추론의 일관성 감소’ 문제라고 부를 수 있지.”

솔라는 잠시 생각에 잠겼다. 정보가 너무 많으면 길을 잃는 ‘정보 과부하’ 문제에 더해, 대화가 길어지면 판단이 흔들리는 ‘추론 일관성’ 문제까지. 단순히 컨텍스트 창을 키우는 것만으로는 해결할 수 없는, 더 근본적인 문제들이 보이기 시작했다. 그녀는 걱정스러운 표정으로 루나를 바라봤다.

“정보가 너무 많으면 핵심을 놓치고, 대화가 길어지면 말이 바뀌고… 이거 완전 문제투성이잖아, 언니. 그럼 대체 이걸 어떻게 해결해야 해? 그렇다고 매번 AI랑 짧게만 대화할 수도 없는 노릇이고.”

3장: Agent에게 딱 맞는 정보만: 컨텍스트 격리의 필요성

솔라의 질문이 남긴 침묵은 무거웠다. 루나가 시연한 AI의 입장 번복은 화면에 선명한 흔적을 남겼고, 솔라의 머릿속을 복잡하게 만들었다. 이전까지의 흥분은 온데간데없었다. 솔라는 노트북을 덮어버린 채, 옆에 놓인 빈 노트에 무언가 끄적이기 시작했다. 커다란 네모를 그리고 ‘거대 컨텍스트’라고 쓴 뒤, 그 안으로 온갖 종류의 화살표(사용자 입력, 검색 결과, 이전 판단…)를 욱여넣는 그림이었다. 하지만 그릴수록 그림은 미로처럼 얽힐 뿐, 해결책은 보이지 않았다.

결국 솔라는 펜을 내려놓고 한숨을 쉬었다. 그녀가 그린 복잡한 다이어그램은 문제 그 자체를 시각적으로 보여줄 뿐이었다. “이게 말이 돼? 엄청나게 큰 창고를 줬는데, 물건을 많이 넣으면 무너지거나 안에 뭐가 있는지 주인이 잊어버린다는 거잖아. 그럼 이 큰 창고는 대체 왜 만든 거야? 그냥 보여주기식이었나?” 그녀의 목소리에는 실망과 혼란이 뒤섞여 있었다. 큰 컨텍스트 창이라는 새로운 가능성이 오히려 풀 수 없는 딜레마처럼 느껴졌다.

루나는 솔라가 끄적인 노트를 조용히 들여다보았다. 복잡하게 얽힌 화살표들이 지금 솔라의 머릿속을 그대로 보여주는 듯했다.

“솔라, 우리 집을 짓는다고 상상해 보자.” 루나가 조용히 말했다. “아주 크고 복잡한 집이야. 그래서 전문가 팀을 꾸렸어. 설계자, 전기 기술자, 그리고 배관 전문가.”

“전문가 팀?” 솔라는 고개를 들었다.

“응. 이 세 명의 전문가에게 일을 맡기려고 해. 너는 프로젝트 총책임자고. 네 앞에는 이 프로젝트에 관한 모든 정보가 담긴 1,000페이지짜리 바인더가 있어. 설계 도면, 배선도, 배관 설계, 인테리어 시안, 예산 내역, 시청 허가 서류까지 전부 다.”

루나는 잠시 말을 멈추고 솔라를 바라봤다. “자, 여기서 문제. 이 1,000페이지짜리 바인더를 세 명 모두에게 똑같이 한 부씩 복사해서 나눠줄 거야?”

솔라는 질문의 의도를 즉시 파악했다. 그녀는 망설임 없이 고개를 저었다.

“아니, 당연히 아니지. 그건 완전 낭비잖아. 배관 전문가는 페인트 색상이나 정원 디자인에 관심 없을 거고, 전기 기술자는 수도관의 재질을 알 필요가 없어. 자기한테 필요한 정보만 찾느라 시간만 버릴 거야. 오히려 자기 도면을 놓칠 수도 있고.”

“바로 그거야.” 루나가 솔라의 노트를 가리켰다. “네가 방금 말한 게 바로 해답이야. 너는 각 전문가에게 필요한 정보만 ‘격리’해서 줬어. 배관 전문가에게는 배관 설계도와 다른 설비와의 연결 지점 정보만 주고, 전기 기술자에게는 배선도와 관련된 부분만 주는 거지. 서로의 작업에 방해되지 않도록, 각자의 일에만 집중할 수 있게.”

루나는 말을 이었다. “AI Agent 시스템도 똑같아. 하나의 거대한 AI에게 모든 정보를 주는 게 아니라, 각기 다른 역할을 맡은 여러 ‘전문가 Agent’를 두는 거야. ‘시장 분석 Agent’, ‘광고 문구 작성 Agent’, ‘법률 검토 Agent’처럼 말이지. 그리고 각 Agent에게는 자신의 임무를 수행하는 데 꼭 필요한 정보만 주는 거야.”

그 순간, 솔라의 눈이 반짝였다. 얽혀 있던 생각의 실타래가 풀리는 기분이었다. 문제는 컨텍스트의 크기 자체가 아니었다. 그 거대한 공간을 아무런 전략 없이 무작정 채우려고 했던 것이 문제였다.

“아! 그러니까… 정보 과부하와 판단 일관성 문제를 해결하는 방법은 정보를 줄이는 게 아니라, 정보를 ‘분리’하는 거구나! 배관공의 작업대에 전기 기술자의 공구가 섞이지 않게 칸막이를 쳐주는 것처럼!”

솔라는 자신이 썼던 말을 스스로 수정했다. 이제야 진정한 의미를 깨달았다. “‘많을수록 좋다’가 아니라 ‘알맞을수록 좋다’였네. 정보를 무작정 많이 넣는 것보다, Agent별로 필요한 정보만 보도록 ‘컨텍스트를 격리(Context Isolation)‘하는 게 핵심이었어.”

새로운 확신에 찬 솔라는 덮어두었던 노트북을 다시 열었다. 하지만 이번에는 AI 모델 출시 기사를 찾는 대신, 새로운 문서 파일을 생성했다. 그녀의 손가락이 빠르게 키보드를 두드렸다.

제목: AI Agent 시스템의 컨텍스트 효율성 증대를 위한 제안

1. 현황 및 문제점

• 단일 컨텍스트에 모든 정보를 집중시키는 방식은 다음과 같은 문제를 야기함.
  • 정보 과부하: 핵심 정보 식별 실패 및 판단 품질 저하.
  • 추론 일관성 감소: 장기적인 대화에서 초기 판단과 모순되는 결론 도출.

2. 해결 방안: ‘컨텍스트 격리(Context Isolation)’ 도입

• 각기 다른 전문성을 가진 Agent에게 독립된 컨텍스트 환경을 제공.
• 예: (시장 분석 Agent)에게는 시장 데이터만, (카피라이팅 Agent)에게는 제품 정보와 타겟 고객 정보만 제공.

문서를 작성하던 솔라가 고개를 들고 루나를 보며 웃었다. 처음의 맹목적인 흥분과는 다른, 단단하고 명료한 자신감이 엿보였다.

“이제 알겠어. 이건 마치 한 명에게 도서관 전체를 주고 모든 분야의 전문가가 되라고 하는 대신, 각 분야의 전문가에게 딱 맞는 책 몇 권만 골라주는 것과 같네. 이게 훨씬 합리적이야.”

솔라는 다시 모니터로 시선을 돌려, 제안서의 다음 항목을 채워나가기 시작했다. 더 이상 거대한 컨텍스트 창의 크기에 압도되지 않았다. 대신 그 공간을 어떻게 효율적으로 구획하고 활용할지에 대한 명확한 그림을 그리고 있었다.