LLMOps 07
AI 면접관 Agent 예제로 보는 문제, 목표, 시나리오 정의
Agent 설계를 문서로 쓰라는 말은 알겠지만 실제 예시에서 무엇을 쪼개야 하는지 막힌다.
근거 · 교안 p21-p25
1장: 문제와 목표, 깊이 들여다보기
솔라는 방금 거실로 들어와 테이블 위에 노트를 펼쳐 놓았다. 노트 한가운데에는 ‘AI 면접관 Agent’라는 제목 아래, 시스템의 구성 요소라며 다섯 개의 항목이 나열되어 있었다.
- 이력서 분석
- 질문 전략 수립
- 질문 생성
- 답변 평가
- 보고서 작성
솔라는 이 목록을 볼펜 끝으로 톡톡 두드렸다. AI 프로젝트를 설계할 때 이런 구성 요소를 문서화하는 게 중요하다는 건 알고 있었다. 하지만 아무리 들여다봐도 각 항목이 그저 따로따로 떠 있는 섬처럼 느껴졌다. 마치 누군가 ‘AI 면접관이라면 이런 기능들이 필요하지 않을까?’ 하고 생각나는 대로 적어놓은 것 같았다.
“언니, 나 이것 좀 봐줘.”
소파에서 조용히 책을 읽고 있던 루나가 고개를 들었다. 솔라는 노트를 루나 쪽으로 밀어 보였다.
“AI 면접관 예제인데, 문제 정의랑 시스템 목표는 그럴듯해. ‘면접 경험이 부족한 사용자의 어려움을 해소한다’ 좋지. 그런데 그 목표에서 어떻게 곧바로 ‘이력서 분석’이나 ‘질문 전략 수립’ 같은 단계들이 튀어나오는지 모르겠어. 이 연결고리가 빠져 있는 느낌이야. 왜 하필 이 다섯 가지로 시스템을 쪼갠 걸까? 그냥 이게 정답이라고 외워야 하는 건가?”
솔라의 목소리에는 답답함이 묻어 있었다. 루나는 노트를 잠시 들여다보더니, 솔라를 향해 시선을 돌렸다. 직접적인 답을 하는 대신, 다른 질문을 던졌다.
“솔라, 너도 면접 때문에 골치 아팠던 적 있잖아. 가장 아쉬웠거나 당황스러웠던 순간이 언제였어?”
“음… 갑작스러운 질문이네.”
솔라는 잠시 생각에 잠겼다. 여러 면접의 기억이 스쳐 지나갔다. 그러다 한 장면이 선명하게 떠올랐다.
“아! 생각났다. 예전에 인턴 면접 볼 때였어. 이력서 구석에 정말 딱 한 줄 적어 놨던 작은 프로젝트가 있었거든. 그런데 면접관이 갑자기 그 프로젝트에 대해 엄청나게 구체적으로 파고드는 거야. 예상 질문 목록에는 있지도 않았던 거라 완전히 허를 찔렸지. 당황해서 거의 횡설수설했던 것 같아.”
“그때 기분이 어땠는데?”
“분했지. 면접관은 내 이력서를 정말 꼼꼼하게 봤다는 건데, 나는 정작 그만큼 내 이력서에 대해 깊이 생각해보지 못했다는 느낌? 내 경험인데도 제대로 설명하지 못하는 게 너무 아쉬웠어. ‘아, 이런 질문이 나올 수도 있구나. 미리 알았더라면…’ 하고 계속 곱씹었지.”
솔라는 말을 마치고 자기도 모르게 한숨을 쉬었다. 그날의 아쉬움이 다시 떠오르는 듯했다. 루나가 조용히 입을 열었다.
“바로 그 지점이야. 솔라 네가 방금 말한 그 경험이, 이 AI 시스템이 풀려는 ‘문제’의 진짜 모습 아닐까?”
“내 경험이 문제의 진짜 모습이라고?”
“응. ‘면접 경험 부족’이라는 건 막연한 말이잖아. 하지만 ‘자신의 이력서에 기반한 예상치 못한 개인 맞춤 질문에 당황해서 제대로 답변하지 못하는 상황’은 훨씬 구체적이지. 그리고 그 상황에서 네가 가장 원했던 건 뭐였어?”
루나의 말에 솔라는 잠시 생각에 잠겼다. 자신이 면접장을 나오며 가장 간절하게 바랐던 것.
“‘누가 내 이력서를 보고 이런 질문이 나올 거라고 미리 알려줬으면…’ 하는 거. 그리고 내가 만든 답변이 괜찮은지, 더 좋은 방향은 없는지 피드백을 받아보고 싶었어.”
그 순간, 솔라의 눈빛이 달라졌다. 무심코 넘겼던 노트 속 ‘문제 정의’와 ‘시스템 목표’라는 글자들이 새로운 의미로 다가오기 시작했다. 그것들은 그저 형식적인 서론이 아니었다. 자신이 겪었던 것과 같은, 현실의 구체적인 ‘아픔’에서 출발한 것이었다.
솔라는 다시 자신의 노트를 끌어당겼다. 그리고 아까는 무의미하게 보였던 시스템 목표를 천천히 다시 읽었다.
“그렇구나… ‘개인화된 질문과 답변에 대한 피드백을 해주는 AI 면접관 Agent 시스템 구축’. 이게 그냥 멋들어진 말이 아니었네. 내 이력서를 분석해서, 나만을 위한 예상 질문을 만들어주고, 내가 그 질문에 답하는 연습을 할 때 부족한 점을 짚어주는 것. 그게 이 시스템이 진짜로 하려는 거였어.”
이제 시스템의 목표가 훨씬 선명하게 느껴졌다. 막연했던 개념이 자신의 경험과 맞물리면서 뚜렷한 그림이 된 것이다. 문제를 깊이 이해하니, 목표가 무엇을 향해야 하는지 비로소 명확해졌다. 문제와 목표는 설계의 출발점이자, 모든 것을 판단하는 기준이었다.
하지만 솔라의 마음속에 떠올랐던 근본적인 질문은 아직 해결되지 않았다.
“응, 목표는 이제 정말 알겠어. ‘개인화된 질문’과 ‘구체적인 피드백’. 이게 핵심이구나. 그런데 말이야… 그 목표를 이루기 위해서 왜 하필 ‘이력서 분석’, ‘질문 전략 수립’, ‘질문 생성’ 같은 단계들이 필요한지는 아직도 모르겠어. 목표와 이 구체적인 역할들 사이의 연결고리는 대체 어디서 찾아야 하는 거지?”
솔라는 다시 한번 다섯 개의 항목을 손가락으로 짚었다. 문제의 무게는 이해했지만, 그 문제를 해결하기 위한 ‘방법’을 어떻게 논리적으로 분해할 수 있는지는 여전히 안갯속이었다.
2장: 인간 면접관의 지혜, AI 설계의 나침반
솔라는 머리를 긁적이며 다시 한번 노트 위를 노려봤다. ‘AI 면접관’이라는 제목 아래 다섯 개의 항목이 여전히 제멋대로 흩어져 있는 듯했다. 어젯밤, ‘개인화된 질문과 피드백’이라는 목표의 의미를 깨달았을 때의 명쾌함은 온데간데없었다.
솔라는 목표에서 다섯 개의 항목으로 각각 화살표를 그어보았다. 하지만 화살표 끝에는 모두 물음표만 달려 있었다. ‘목표’라는 출발점에서 ‘이력서 분석’이라는 첫 번째 목적지로 가는 길이 도무지 보이지 않았다. 마치 자동차를 만들고 싶은데, 눈앞에는 엔진, 바퀴, 핸들 같은 부품들이 설명서 없이 널브러져 있는 기분이었다.
“이 부품들을 어떤 순서로, 왜 조립해야 하는지 알아야 하는데… 그냥은 모르겠잖아.”
나지막이 혼잣말을 중얼거리는 솔라를 보고, 루나가 소파에서 일어나 다가왔다. 솔라의 노트에 그려진, 길 잃은 화살표와 물음표들을 잠시 들여다보았다.
“AI는 잠시 잊어보자.”
루나가 말했다. 그리고는 깨끗한 노트를 한 장 더 가져와 테이블 위에 펼쳤다.
“AI 면접관이 아니라, 아주 꼼꼼하고 유능한 ‘인간’ 면접관이 솔라, 너만을 위해 모의 면접을 해준다고 상상해봐. 그 면접관이 너한테 ‘개인화된 질문’을 던져주기 위해 가장 먼저 뭘 해야 할까?”
“인간 면접관이라면…?”
솔라는 잠시 생각에 잠겼다. AI라는 단어를 지우고 나니, 문제가 조금 더 현실적으로 다가왔다.
“일단 내 이력서를 달라고 하겠지. 그걸 읽어봐야 나에 대해 알 수 있을 테니까.”
“좋아. 그 면접관이 지금 네 이력서를 받았어. 그리고 꼼꼼히 읽기 시작해. 이력서를 읽으면서 머릿속으로 무슨 생각을 할까?”
루나는 새로 펼친 노트 위에 ‘면접관의 생각 흐름’이라고 적고는, 첫 번째 항목으로 ‘1. 서류(이력서) 검토’라고 썼다.
솔라는 가상의 유능한 면접관이 된 것처럼 눈을 가늘게 뜨고 자신의 이력서를 떠올렸다.
“음… ‘이 지원자는 이런 프로젝트를 했구나. 여기서 어떤 역할을 맡았을까?’, ‘이 기술 스택을 사용했다고 적었는데, 어느 정도 수준일까?’ 같은 것들을 파악하려고 하겠지. 내 경험들 중에서 진짜 중요한 게 뭔지, 핵심 단어를 뽑아내려고 할 거야.”
“왜 그런 작업을 할까?”
“나라는 사람을 입체적으로 이해하고, 그걸 바탕으로… 아!”
솔라는 무릎을 쳤다.
“그걸 바탕으로 질문할 거리를 찾는 거구나. 그냥 이력서에 있는 내용을 그대로 묻는 게 아니라, 경험과 경험 사이의 연결고리나 숨은 의도를 파고드는 질문을 하려고.”
루나는 솔라의 말을 들으며 노트에 몇 자 더 적어 넣었다.
1. 서류(이력서) 검토
- 핵심 역량, 경험 파악
- 질문할 거리 탐색
“맞아. 그리고 나면? 이력서를 다 읽고 너에 대한 대략적인 그림을 그렸어. 그다음은 뭘까?”
“음… 아마 내가 지원한 직무랑 내 경험을 비교해 보지 않을까? 이 직무에 꼭 필요한 역량이 있는데, 내가 그걸 가졌는지 검증하고 싶을 테니까. 그래서 ‘이런 경험을 강조해서 물어봐야겠다’거나, ‘이 부분은 좀 약해 보이니 확인해 봐야겠다’는 식으로… 일종의 질문 ‘전략’을 세울 것 같아.”
루나의 펜이 다시 움직였다.
2. 질문 전략 수립
- 직무 연관성 분석
- 검증할 포인트 결정
솔라는 루나가 정리하는 노트를 보며 점점 신이 나기 시작했다. 안갯속에 있던 길이 조금씩 보이는 기분이었다.
“전략을 세웠으면, 이제 진짜 질문을 만들 차례지! ‘이 프로젝트에서 가장 어려웠던 점은 무엇인가요?’ 라든지, ‘그 문제를 해결하기 위해 당신이 구체적으로 기여한 바는 무엇인가요?’ 같은 실제 질문 목록을 만드는 거야.”
3. 구체적인 질문 생성
“그리고 면접 당일에는 그 질문들을 던지면서 내 답변을 듣고, 더 파고들기도 하고… 내가 하는 말을 기록하겠지. 면접이 끝나면 그 기록을 바탕으로 내가 잘한 점, 부족한 점을 평가해서 종합적인 피드백 보고서를 만들어 줄 거고.”
솔라는 숨 가쁘게 말을 마친 뒤, 루나가 정리한 노트를 바라보았다. 거기에는 인간 면접관이 해야 할 일들이 순서대로 적혀 있었다.
면접관의 생각 흐름
- 서류 검토: 지원자의 핵심 경험을 파악하고 질문거리를 찾는다.
- 질문 전략 수립: 직무와 연관 지어 무엇을 검증할지 방향을 정한다.
- 구체적인 질문 생성: 전략에 맞춰 실제 질문 목록을 만든다.
- 면접 진행 및 답변 평가: 질문하고 답변을 들으며 내용을 평가한다.
- 종합 보고서 작성: 평가 내용을 정리하여 피드백을 완성한다.
솔라는 이 목록을 잠시 응시하더니, 고개를 들어 자신이 처음 펼쳐 놓았던 노트를 바라보았다. 그리고는 두 노트를 나란히 놓고 번갈아 보기 시작했다.
- 이력서 분석 → 서류 검토
- 질문 전략 수립 → 질문 전략 수립
- 질문 생성 → 구체적인 질문 생성
- 답변 평가 → 면접 진행 및 답변 평가
- 보고서 작성 → 종합 보고서 작성
“…똑같잖아?”
솔라의 입에서 탄성이 터져 나왔다.
“AI Agent의 구성 요소들이 그냥 나온 게 아니었어. 이건… 최고의 전문가인 인간 면접관이 일하는 방식을 그대로 본떠서 만든 거였구나! 연결고리가 없는 게 아니라, 내가 완전히 다른 곳에서 찾고 있었던 거야. 해답은 AI 기술이 아니라, 그 AI가 해결하려는 문제의 현장에 있었네.”
이제 다섯 개의 항목은 더 이상 흩어진 섬이 아니었다. ‘유능한 인간 면접관의 업무 절차’라는 단단한 땅 위에 논리적인 순서로 세워진 이정표처럼 보였다. 막연했던 설계 과정에 명확한 나침반이 생긴 순간이었다.
모든 것이 명쾌해졌다고 생각했을 때, 솔라의 머릿속에 새로운 궁금증이 고개를 들었다.
“좋아, 인간 전문가의 프로세스를 따라간다는 건 이제 확실히 알겠어. 그런데 말이야, 인간의 ‘서류 검토’라는 하나의 행위가 어떻게 ‘이력서 분석 Agent’라는 AI의 역할 하나로 똑같이 바뀌는 걸까? 이 다섯 단계가 각각 하나의 Agent가 되는 건가? 이 단계들을 연결해서 전체 면접 시나리오를 만드는 구체적인 방법은 뭐지? 인간의 행동을 AI의 역할로 ‘분해’하는 데에도 어떤 규칙이 있는 거 아닐까?”
3장: 인간의 ‘행위’를 AI Agent의 ‘역할’로 분해하기
테이블 위에는 어제 솔라와 루나가 함께 정리한 두 장의 노트가 나란히 놓여 있었다. 왼쪽 노트에는 인간 면접관의 다섯 단계 생각 흐름이, 오른쪽 노트에는 원래 솔라가 답답해했던 AI Agent의 다섯 가지 구성 요소가 적혀 있었다. 두 목록 사이에는 가지런한 화살표들이 그어져 둘이 사실상 같은 내용임을 보여주고 있었다.
하지만 솔라는 그 완벽한 1:1 대응 관계를 보며 오히려 미간을 찌푸렸다. 그녀는 새 노트를 꺼내 무언가를 그리기 시작했다. 먼저 ‘인간 면접관’이라는 큰 네모 상자를 그리고 그 안에 다섯 단계를 넣었다. 그다음엔 그 옆에 ‘이력서 분석 Agent’, ‘전략 수립 Agent’ 등 다섯 개의 작은 상자를 따로따로 그렸다.
“이게 이상해.”
솔라는 자신이 그린 두 개의 그림을 번갈아 가리키며 혼잣말했다.
“인간 면접관은 한 사람이 머릿속에서 이 모든 걸 순서대로 처리하잖아. 그런데 AI는 이걸 왜 굳이 다섯 명의 다른 Agent로 나눠야 하는 거지? 그냥 똑똑한 AI 하나가 처음부터 끝까지 다 하면 안 되나? 인간의 ‘서류 검토’라는 행동이 그냥 AI의 ‘이력서 분석’ 역할 하나로 똑같이 바뀌는 거라면, 이건 그냥 이름만 바꾼 거잖아. 이 ‘분해’에는 뭔가 다른 규칙이 있는 게 틀림없어.”
솔라의 질문은 더 이상 ‘연결고리’의 유무가 아니었다. 이제는 그 연결 방식, 즉 인간의 포괄적인 행위가 어떻게 AI의 구체적인 ‘역할’들로 쪼개지는지에 대한 근본적인 원리를 향하고 있었다.
루나는 솔라가 그린 두 개의 상반된 다이어그램과 그 사이에서 고민하는 모습을 조용히 지켜보다가, 인간 면접관의 생각 흐름이 적힌 노트를 손가락으로 가리켰다. 첫 번째 항목이었다.
“그럼 이 첫 번째 단계, ‘서류 검토’만 따로 떼어서 생각해보자. 아주 유능한 면접관이 서류를 검토할 때, 그 ‘검토’라는 행위 안에는 구체적으로 어떤 행동들이 숨어 있을까? 그냥 ‘읽는다’로 끝나지 않을 거잖아.”
“숨어있는 행동들이라…”
솔라는 다시 가상의 면접관이 되어 생각에 잠겼다. ‘서류 검토’라는 네 글자 뒤에 숨겨진 복잡한 인지 과정을 떠올리려 애썼다.
“일단… 이력서 전체를 읽고 내용을 요약하겠지. 어떤 사람인지 큰 그림을 그려야 하니까. 그리고는 경험 항목들을 보면서 ‘자바스크립트’, ‘프로젝트 관리’ 같은 핵심 키워드를 추출할 거야. 우리 회사 기술 스택이랑 맞는지 보려고. 아, 또 ‘이 프로젝트에서 정말 이 사람이 주도적인 역할을 했을까?’처럼 검증이 필요한 부분을 표시해두기도 할 거고.”
솔라는 생각나는 대로 작은 행동 단위들을 읊었다. 루나는 솔라가 말한 행동들을 키워드만 뽑아 옆에 작게 메모했다.
- 내용 요약
- 핵심 키워드 추출
- 검증 포인트 표시
“좋아. 그럼 이제 이걸 봐봐.”
루나는 자신의 태블릿을 켜서 화면을 보여주었다. 화면에는 ‘AI 면접관 Agent Workflow’라는 제목의 다이어그램이 떠 있었다. 여러 개의 상자들이 화살표로 연결되어 정보가 오고 가는 흐름을 보여주고 있었다. 그리고 각 상자에는 ‘분석 Agent’, ‘전략가 Agent’, ‘질문 생성 Agent’ 같은 이름이 붙어 있었다.
[AI 면접관 Agent Workflow 예시]
[사전 준비 단계]
분석 Agent: 이력서 내용을 요약하고, 핵심 역량 키워드를 추출하여 구조화된 데이터로 만듦.전략가 Agent: 분석된 데이터를 바탕으로, 직무 적합성을 고려하여 면접에서 검증해야 할 핵심 포인트를 결정함.질문 생성 Agent: 전략가의 결정을 바탕으로 개인 맞춤형 질문 목록을 생성함.[면접 진행 단계]
- (이하 생략)
루나는 솔라에게 태블릿을 건네며 말했다.
“네가 방금 말한, ‘서류 검토’ 안에 숨어있던 작은 행동들을 이 AI Agent들의 역할 설명과 하나씩 연결해볼래?”
솔라는 태블릿을 받아들고 자신이 말했던 행동들과 화면 속 Agent들의 역할을 비교하기 시작했다.
“‘내용 요약’이랑 ‘핵심 키워드 추출’은… 여기 분석 Agent가 하는 일이랑 정확히 똑같네.”
그녀의 손가락이 첫 번째 Agent의 설명을 가리켰다.
“그리고 ‘검증이 필요한 부분을 표시’하는 건… 다음 단계인 전략가 Agent의 역할이구나! ‘검증해야 할 핵심 포인트를 결정한다’고 되어 있으니까.”
그 순간, 솔라의 눈이 동그래졌다. 흩어져 있던 퍼즐 조각들이 제자리를 찾아 들어맞는 느낌이었다.
“아! 알겠다! ‘서류 검토’라는 인간의 행위 하나가 통째로 AI Agent 하나로 바뀌는 게 아니었어! 그 하나의 큰 행위 안에 숨겨진 여러 개의 작은 ‘기능’들, 그러니까 ‘요약하기’, ‘추출하기’, ‘전략 포인트 잡기’ 같은 구체적인 작업 단위로 먼저 분해하는 거구나. 그리고 그 분해된 기능들을 가장 잘 수행할 수 있도록 역할을 나눠서 AI Agent를 만드는 거였어. 마치 한 팀에 분석 전문가, 전략 전문가를 따로 두는 것처럼!”
인간의 행동을 그대로 흉내 내는 것이 아니었다. 그 행동의 ‘목적’을 달성하기 위해 필요한 인지적 노동을 잘게 쪼개고, 각 조각을 가장 효율적으로 처리할 수 있는 전문화된 역할(Agent)에게 할당하는 것. 이것이 바로 ‘분해’의 핵심이었다.
솔라는 처음 자신이 그렸던, 다섯 개의 항목이 무질서하게 나열된 노트를 다시 집어 들었다. 그리고 그 위에 X자를 크게 그었다. 이제 저 목록은 그녀에게 더 이상 의미 없는 나열이 아니었다. 하나의 목표를 향해 협력하는 전문가 팀의 업무 분장표로 보였다.
그녀는 깨끗한 새 페이지를 펼쳤다. 그리고 망설임 없이 새로운 다이어그램을 그리기 시작했다.
맨 위에는 ‘목표: 개인화된 질문과 피드백 제공’이라고 적었다. 그 아래, ‘분석 Agent’ 상자를 그리고 그 안에 ‘-이력서 요약, -키워드 추출’이라고 역할을 명시했다. 그 상자에서 나온 화살표는 ‘전략가 Agent’ 상자로 이어졌고, 그 안에는 ‘-검증 포인트 결정’이라고 썼다.
하나의 시나리오를 완성하기 위해 각기 다른 역할을 맡은 Agent들이 어떻게 정보를 주고받으며 협력하는지, 그 논리적인 흐름이 그녀의 손끝에서 명확한 그림으로 재구성되고 있었다. 이것이 바로 그녀가 처음부터 찾고 싶었던, 문제와 목표에서 시작해 구체적인 시스템 설계로 이어지는 단단한 연결고리였다. 이제 그녀는 어떤 새로운 AI 프로젝트를 마주하더라도, 단순히 기능을 나열하는 대신, 그 문제를 해결하는 전문가의 프로세스를 분석하고, 그 행위를 논리적인 역할들로 분해하여 하나의 팀을 설계할 수 있을 것 같았다.