Big Project · AI's EYE · 18

Digital Twin, 눈에 보이는 전부가 아니다: 범위 정의의 기술

사람 위치가 움직이는 2D·3D 화면이 있으면 매장 Digital Twin이라고 부르기에 충분해 보인다. 어떤 범위를 넘으면 실제보다 과장되는지 구분하기 어렵다.

근거 · 프로젝트 문서 · 코드 · 테스트

1장: 시각적 인상이 감추는 ‘진짜’ 디지털 트윈 범위

솔라는 방금 기술 컨퍼런스 온라인 세션에서 본 화면을 머릿속에서 떨쳐내지 못했다. 매장을 위에서 내려다본 듯한 2D 그래픽 화면 위로 작은 점들이 분주하게 움직였다. 어떤 점은 계산대 앞에 줄을 서고, 어떤 점은 특정 매대를 둘러보고 있었다. 발표자는 이 시스템을 ‘매장 운영을 위한 디지털 트윈’이라고 소개했다. 솔라의 눈에는 그럴듯해 보였다. 현실 매장의 복제품, 즉 디지털 트윈이라는 말에 꼭 들어맞는 그림이었다. 이 정도면 매장 전체 상황을 한눈에 파악하고 분석하기에 충분하지 않을까.

그런데 발표 막바지에 스쳐 지나간 한 문장이 자꾸만 마음에 걸렸다.

‘이 디지털 트윈은 매장 전체의 정밀 도면이 아니라, 단일 CCTV가 포착한 장면을 기반으로 합니다.’

그 문장은 솔라가 방금 본 화려한 시각적 인상과 어딘가 맞지 않았다. 화면은 분명 매장 전체를 보여주는 듯한 구도였는데, 왜 ‘단일 CCTV’라는 한계를 굳이 언급했을까? 매장 전체 도면이 아니라는 말은 또 무슨 뜻일까? 움직이는 사람을 보여주는 화면만 있으면 디지털 트윈으로 충분하다고 생각했는데, 무언가 중요한 전제를 놓치고 있는 기분이었다.

저녁 식사 후, 솔라는 거실 소파에 앉아 노트북을 들여다보는 언니 루나에게 말을 걸었다.

“언니, 아까 본 기술 영상에서 이상한 점을 발견했어. 매장 디지털 트윈이라면서, 화면은 매장 전체처럼 보이는데 실제로는 CCTV 한 대 분량의 정보만 보여준대. 이게 무슨 의미야?”

솔라는 자신이 본 화면과 발표자의 말을 뒤섞어 설명했다.

“화면이 그렇게 근사한데, 왜 ‘전체 도면이 아니다’라고 선을 긋는 거지? 그냥 ‘CCTV 기반 디지털 트윈’이라고만 하면 될 텐데. 마치 일부러 과장을 경계하는 느낌이었어.”

루나는 노트북 화면에서 눈을 떼지 않은 채 잠시 듣고만 있었다. 그러다 별말 없이 솔라의 스마트폰을 집어 들었다.

“솔라, 이리 와서 이 화면 좀 봐.”

루나는 스마트폰 카메라를 켜서 거실의 한쪽 벽을 비췄다. 화면에는 소파와 TV, 그리고 그 옆에 놓인 작은 화분이 보였다.

“자, 지금 이 화면이 우리가 만든 ‘거실 디지털 트윈’이라고 해보자. 이 화면만 보고 우리 거실에 대해 설명해볼래?”

“음… 소파가 있고, TV가 켜져 있네. 화분도 하나 있고.”

솔라는 화면에 보이는 대로 답했다. 당연한 질문이라고 생각했다.

“그게 전부야?”

루나가 물었다.

“화면에 보이는 건 그게 전부지.”

“그럼 현관문은 어디에 있지? 네가 아까 들어온 문 말이야. 그리고 내 책상은? 창문은?”

루나는 스마트폰을 들고 있는 손은 그대로 둔 채, 고갯짓으로 화면 밖의 공간들을 가리켰다. 솔라의 등 뒤에 있는 현관문, 카메라의 사각지대에 있는 루나의 책상, 그리고 거실 반대편의 큰 창문. 그 어느 것도 스마트폰 화면에는 담겨있지 않았다.

“그야 카메가 그쪽을 비추고 있지 않으니까… 아.”

솔라는 짧은 탄식을 뱉었다. 순간, 컨퍼런스 영상에서 느꼈던 위화감의 정체가 선명해졌다.

자신이 본 것은 ‘매장’의 디지털 트윈이 아니라, ‘매장을 비추는 한 대의 CCTV 영상’을 보기 좋게 가공한 화면이었던 것이다. 스마트폰 카메라가 거실의 전부를 보여주지 못하는 것처럼, 그 CCTV 역시 매장의 일부만을 포착하고 있었다. 화면 속에서 움직이던 점들은 그 카메라의 시야 안으로 들어왔을 때만 존재하는 데이터였다. 고객이 카메라의 사각지대로 들어서는 순간, 그 고객을 나타내던 점은 디지털 트윈 상에서 그냥 ‘증발’해버리는 것이다.

솔라는 루나가 들고 있는 스마트폰 화면을 다시 보았다. 시각적으로는 완결된 하나의 ‘장면’이었지만, 그 장면이 담지 못하는 ‘현실’이 훨씬 더 넓게 존재했다.

“그럼, 그 화면은 일종의 시각적 환상이네. 마치 매장 전체를 다 보고 있는 것처럼 착각하게 만드는.”

“환상이라기보단, 경계가 있는 거지.”

루나가 스마트폰을 내려놓으며 말했다.

“중요한 건 그 경계를 아는 거야. 이 디지털 트윈이 무엇을 보여주는지, 그리고 더 중요하게는, 무엇을 보여주지 못하는지를 명확히 하는 것. 센서, 즉 카메라가 볼 수 있는 현실과 우리가 상상하는 현실은 다르니까. 발표자가 ‘매장 전체 정밀 도면이 아니다’라고 굳이 말한 건, 바로 그 경계를 선언한 거야. ‘우리가 보여주는 건 여기까지입니다. 이 화면을 보고 매장 전체를 안다고 착각하지 마세요.’ 하고 말이야.”

솔라는 고개를 끄덕였다. 이제야 발표자의 의도가 이해되었다. 화려한 시각적 인상에 현혹되지 말라는 경고였다. 디지털 트윈의 가치는 얼마나 멋지게 보이느냐가 아니라, 어떤 데이터를 기반으로 어디까지의 현실을 정확하게 재현하느냐에 달려 있었다.

문득 새로운 질문이 떠올랐다.

“알겠어. 그러니까 센서의 한계 때문에 보이는 게 전부가 아니라는 거구나. 그런데 궁금한 게 있어. 왜 굳이 그렇게 제한적인 단일 CCTV를 기반으로 만들었을까? 여러 대의 카메라를 연결해서 매장 전체를 커버하면 되잖아? ‘전체 도면이 아니다’라고 굳이 선을 그어야 했던 진짜 이유가 뭘까?”

2장: ‘단일 CCTV’와 ‘2.5D’가 만드는 현실의 경계

솔라의 질문이 거실의 고요함을 가로질렀다. “왜 굳이 그렇게 제한적인 단일 CCTV를 기반으로 만들었을까? 여러 대의 카메라를 연결해서 매장 전체를 커버하면 되잖아?”

루나는 솔라의 질문에 바로 답하는 대신, 옆에 있던 메모 패드와 펜을 가져왔다. 그리고는 간단한 사각형을 하나 그렸다. 가상의 매장 평면도였다. 루나는 사각형의 양쪽 구석에 작은 동그라미 두 개를 겹치지 않게 그렸다. 하나는 ‘카메라 5’, 다른 하나는 ‘카메라 21’이라고 이름 붙였다.

“발표 자료에 대표 카메라가 5번과 21번이라고 했지. 이게 그 두 카메라가 비추는 영역이라고 해보자.”

솔라는 루나가 그린 그림을 들여다봤다. 그림은 솔라의 질문을 더욱 명확하게 만들었다. 두 카메라가 비추지 못하는 광대한 빈 공간이 한눈에 들어왔다.

“내 말이 그거야. 이렇게 빈 곳이 많잖아. 카메라를 더 설치하거나, 저 두 대의 영상을 합치면 되는 거 아니야? 그러면 ‘전체 도면이 아니다’라고 굳이 선을 그을 필요도 없을 텐데.”

“좋아, 그럼 합쳐보자.”

루나는 펜으로 ‘카메라 5’ 영역의 가장자리에 작은 사람 모양 아이콘을 그렸다. “고객 한 명이 이 지점에서 카메라 5의 시야 밖으로 사라졌어.” 그러고는 잠시 후, ‘카메라 21’ 영역의 가장자리에 또 다른 사람 아이콘을 그렸다. “그리고 약 30초 뒤, 다른 고객이 이 지점에서 카메라 21의 시야 안으로 들어왔어. 자, 솔라. 이 두 사람은 같은 사람일까?”

솔라는 잠시 망설였다.

“음… 그럴 수도 있고, 아닐 수도 있지. 옷차림이나 걸음걸이를 보면 알 수 있지 않을까?”

“맞아. 그걸 ‘재식별(Re-ID, Re-Identification)’ 기술이라고 해. 여러 카메라에 잡힌 특정 인물이 동일인물인지 판단하는 기술이지.”

루나는 펜을 내려놓았다.

“그런데 그 프로젝트에는 그 기술이 없었어. 매장 전체 평면도도, 다중 카메라를 이용한 재식별 기능도 적용되지 않은 상태였지. 시스템이 아는 건 오직 이것뿐이야. ‘카메라 5의 시야에 누군가 있다.’ 그리고 ‘카메라 21의 시야에 누군가 있다.’ 그 둘을 연결할 데이터 근거가 전혀 없는 거지.”

그제야 솔라는 자신이 얼마나 간단하게 생각했는지 깨달았다. 여러 대의 카메라 영상을 합치는 것은 단순히 물리적인 화면을 이어 붙이는 문제가 아니었다. 그것은 각기 다른 데이터 스트림에 등장하는 익명의 객체들에게 ‘동일한 정체성’을 부여하는, 완전히 다른 차원의 문제였다. 재식별 기술 없이는, 카메라 5의 시야에서 사라진 고객은 그저 소멸한 것이고, 카메라 21에 나타난 고객은 새로 창조된 것과 다름없었다. 그 사이의 공백에서 무슨 일이 있었는지, 시스템은 아무것도 증명할 수 없었다.

“아… 그럼 매장 전체를 보여주는 3D 모델을 만들었다면, 그건 거짓말이 됐겠구나. 카메라 밖으로 사라진 사람이 어디로 갔는지 알지도 못하면서, 아는 것처럼 보여줘야 하니까.”

“바로 그거야.” 루나가 말했다. “그래서 그 발표자는 화려한 ‘전체 매장 3D 모델’의 환상을 좇는 대신, 방향을 바꾼 거야. ‘CCTV 구도 기반의 2.5D 운영 시각화’로.”

“2.5D 시각화?”

“응. 완벽한 3D 공간을 만드는 게 아니야. CCTV가 찍고 있는 2D 영상 위에, 감지된 사람의 위치 정보 같은 걸 입체적으로 살짝 덧씌워서 보여주는 방식이지. 중요한 건, 시각화의 기준이 가상의 매장 지도가 아니라 실제 카메라의 ‘시점’과 ‘구도’가 된다는 점이야. 딱 센서가 보는 만큼만 보여주겠다는 정직한 표현인 셈이지.”

솔라는 루나가 그린 메모를 다시 보았다. 동그라미 두 개와 그 사이의 광대한 공백. 이전에는 기술적 ‘한계’나 ‘결점’으로만 보였던 그 그림이 이제는 다르게 읽혔다.

‘단일 CCTV’라는 제약은 데이터의 정체성을 추적할 수 없다는 현실을 의미했다. 그리고 ‘2.5D 시각화’는 그 현실을 왜곡 없이 받아들이기 위한 의도적인 선택이었다. 시각적 인상이 아니라 센서가 제공하는 데이터의 범위를 정직하게 따르겠다는 선언. 그것은 단순히 기술적 한계를 나열한 것이 아니라, 프로젝트의 신뢰도를 지키기 위한 중요한 설계 결정이었다.

“이제 알겠어. ‘단일 CCTV’와 ‘2.5D’는 그냥 기술 스펙이 아니라, 이 디지털 트윈이 무엇을 알고 무엇을 모르는지 규정하는 경계선이었구나.”

솔라는 고개를 끄덕였다. 시각적 인상에 휘둘리지 않고, 그 뒤에 있는 센서의 범위를 기준으로 시스템을 분석하는 방법을 어렴풋이 깨달은 것 같았다. 하지만 여전히 풀리지 않는 의문이 남았다.

“기술적인 이유는 이해했어. 정직하게 보여주기 위한 선택이었다는 거. 그런데 왜 거기서 멈추기로 했을까? 재식별 기술을 개발해서 적용하면 더 완벽한 디지털 트윈이 될 수 있었을 텐데. 왜 굳이 ‘여기까지’라고 선을 긋는 타협을 했을까? 그 제한을 감수하면서까지 얻으려던 더 큰 가치가 있었던 걸까?”

3장: 과장된 기대를 막는 Digital Twin 범위 정의의 가치

솔라의 마지막 질문은 이전과는 무게가 달랐다. 처음에는 ‘어떻게’에 대한 호기심이었고, 다음은 기술적 ‘현실’에 대한 수긍이었다. 하지만 이제 솔라는 그 모든 것을 넘어, 프로젝트의 ‘의도’를 묻고 있었다. “왜 굳이 ‘여기까지’라고 선을 긋는 타협을 했을까? 그 제한을 감수하면서까지 얻으려던 더 큰 가치가 있었던 걸까?”

질문은 더 이상 기술적 한계에 대한 것이 아니었다. 그것은 전략적 판단에 대한 의문이었다. 루나는 잠시 생각에 잠기는 듯하더니, 다시 메모 패드를 가져왔다. 하지만 이번에는 이전처럼 그림을 그리지 않았다. 대신 패드 중앙에 세로로 선을 그어 두 개의 단으로 나누었다. 그리고 왼쪽 단 상단에는 ‘LIVE Twin (현실 복제)’, 오른쪽 단 상단에는 ‘What-if Twin (가상 실험)’이라고 적었다.

“좋은 질문이야, 솔라. 그 답은 이 프로젝트가 사실 두 개의 다른 트윈으로 이루어져 있다는 걸 이해하는 데서 시작돼.”

루나는 ‘LIVE Twin’이라고 적힌 왼쪽 단 아래에 작은 글씨로 ‘From: 단일 CCTV’라고 썼다.

“LIVE Twin의 임무는 딱 하나야. ‘현재, 저 카메라에 무엇이 보이는가?’를 최대한 정확하게 보여주는 것. 이 트윈은 실제 센서가 보내주는 데이터에 100% 묶여 있어. 여기서는 상상력이 개입할 여지가 없어. 카메라가 못 보면, 이 트윈도 못 보는 거야. 거짓말을 할 수 없는 정직한 보고서지.”

솔라는 왼쪽 단을 보았다. ‘단일 CCTV’. 이제는 익숙해진 그 단어가 담고 있는 엄격한 현실의 경계가 느껴졌다.

“그럼 What-if Twin은?”

“What-if Twin의 임무는 정반대야.”

루나는 오른쪽 단 아래에 ‘For: 시뮬레이션’이라고 적었다.

“이 트윈의 임무는 ‘만약 ~라면 어떻게 될까?’라는 질문에 답하는 거야. ‘만약 고객 동선을 바꾸면?’, ‘만약 이 매대에 직원을 한 명 더 배치하면?’ 같은 질문들. 이 트윈은 현실을 그대로 복제하는 게 목적이 아니야. 가상의 시나리오를 실행하고 그 결과를 예측하는 게 목적이지. 그래서 이 트윈의 데이터는 실제 CCTV 영상이 아니라, 과거 데이터 기반의 통계 모델이나 우리가 만든 가상 인물들로 채워져.”

루나는 두 개의 단을 가리켰다. 이제 그 분리의 의도가 선명하게 보이기 시작했다.

LIVE Twin (현실 복제)	What-if Twin (가상 실험)
From: 단일 CCTV (실시간 센서)	For: 시뮬레이션 (모델, 가상 데이터)
목표: 지금 보이는 현실을 정직하게 반영	목표: 가상 시나리오의 결과 예측
제약: 센서 범위 밖은 ‘모름’	제약: 현실이 아닌 ‘가능성’을 다룸

솔라는 탄성을 내뱉었다. “아! 분리한 거구나!”

그랬다. 그들은 ‘완벽한’ 단 하나의 디지털 트윈을 만들려다 실패한 게 아니었다. 처음부터 목적이 다른 두 개의 트윈을 의도적으로 분리해서 설계한 것이었다. 재식별 기술이 없어서 타협한 게 아니라, 두 트윈의 목적을 명확히 하고 서로의 영역을 침범하지 않게 하기 위해 의도적으로 경계를 설정한 것이었다.

만약 이 둘을 합쳐서 하나의 그럴듯한 ‘매장 전체 3D 디지털 트윈’을 만들었다면 어떤 일이 벌어졌을까? 매장 관리자는 LIVE 화면에서 보이는 사람과 What-if 시뮬레이션으로 움직이는 가상 인간을 구분하지 못할 수 있다. 그는 카메라 사각지대를 지나가는 사람의 동선이 시스템에서 예측된 가상의 경로라는 사실을 잊은 채, 그것이 실제 데이터라고 믿고 의사결정을 내릴 위험이 생긴다. 시각적 인상의 설득력이 데이터의 실제 범위를 넘어서는 순간, 디지털 트윈은 유용한 도구가 아니라 위험한 환상이 된다.

“그래서 발표자가 ‘이 제한을 발표와 아키텍처 문서에 남겼다’고 말한 거구나.”

솔라의 목소리에는 확신이 차 있었다.

“단순히 기술적 한계를 고백한 게 아니었어. ‘우리의 LIVE Twin은 여기까지입니다. 이 선을 넘어서는 분석은 What-if Twin의 영역이며, 그것은 현실이 아닌 시뮬레이션임을 명심하십시오.’라고 선언하는, 일종의 사용 설명서이자 계약서였던 거야. 과장된 기대를 막고, 시스템을 안전하게 사용하게 하려는 의도적인 장치.”

루나는 미소 지으며 고개를 끄덕였다. 범위 제한은 약점이 아니라, 신뢰를 지키는 가장 강력한 무기였던 셈이다.

솔라는 잠시 생각에 잠기더니, 루나가 사용했던 메모 패드를 자신의 앞으로 끌어당겼다. 그리고는 새 페이지에 제목을 적었다.

<디지털 트윈 범위 명세서: 우리 집 거실>

그 아래에 솔라는 루나가 했던 것처럼 두 개의 단을 나누지 않았다. 대신, 몇 개의 명확한 항목을 써 내려가기 시작했다.

1. 재현 대상: 스마트폰 카메라 전면 시야각 내의 실시간 상황 (LIVE)
2. 데이터 소스: 스마트폰 후면 카메라 (단일 센서)
3. 포함되는 범위 (In Scope):
   • 카메라 시야 내 객체(소파, TV, 화분)의 현재 위치
4. 포함되지 않는 범위 (Out of Scope):
   • 카메라 사각지대(현관, 책상, 창문)의 모든 정보
   • 객체 추적 및 재식별 (카메라 시야를 벗어난 사람/사물은 소멸 처리)
5. 의도적 제한 및 근거:
   • 시각적 인상만으로 거실 전체 상황을 파악하고 있다는 오해를 방지함.
   • 가상 실험(“What-if 가구 재배치”)은 LIVE 데이터와 명확히 분리된 별도 시뮬레이션으로 정의하며, 결과값에 ‘시뮬레이션’ 출처를 명기해야 함.

솔라는 자신이 작성한 짧은 명세서를 만족스럽게 바라보았다. 이것은 단순히 본 것을 정리한 메모가 아니었다. 시각적 환상과 센서의 현실을 구분하고, 그 경계를 명확히 소통하여 쓸모 있는 시스템을 만들기 위한 첫 번째 설계도였다. 이제 솔라는 어떤 디지털 트윈 프로젝트를 보더라도, 그 화려한 화면 뒤에서 ‘무엇을 보여주지 않기로 결정했는가’ 그리고 ‘왜 그런 결정을 했는가’를 먼저 질문하게 될 것임을 알았다.