3D 디지털트윈 최신화를 위한 비전 AI 기반 설비 변경 탐지 연구

디지털트윈은 실제 설비와 공간의 상태를 가상환경에 반영해 상태 확인, 운영 점검, 시뮬레이션, 공간 분석을 수행하는 기술입니다. 그러나 구축 이후에도 현장에서는 설비 이동, 신규 설치, 철거, 배치 변경이 계속 발생하고, 이 변화가 반영되지 않으면 현실과 가상환경의 불일치가 쌓입니다.

공장에 이미 설치된 고정 카메라와 비전 AI를 쓰면 LiDAR나 3D Scanner 없이도 설비 변화를 관측할 수 있습니다. 하지만 CCTV 영상이 항상 충분한 정보를 주지는 않습니다. 설비가 작업자나 자재에 가려지고, 조명이나 카메라 위치가 달라지고, 탐지 모델이 일시적으로 객체를 놓치거나 위치를 잘못 잡습니다.

이때 비전 AI의 결과를 그대로 자동 반영하면 두 방향의 문제가 생깁니다.

잘못된 갱신 — 실제로는 변화가 없는데 잘못된 관측을 반영해 디지털트윈 자체가 틀린 상태가 됨 변화 미반영 — 실제 변화가 있었는데 놓쳐서 디지털트윈이 옛 상태에 머무름

그래서 본 프로젝트는 탐지 성능을 높이는 것이 아니라, 현재의 관측을 디지털트윈 갱신에 사용해도 되는지 판단하는 과정에 초점을 둡니다. 비전 AI가 추정한 설비 상태와 영상의 관측 근거를 함께 보고 다음 세 가지 갱신 행동을 정의합니다.

Update — 관측 결과를 신뢰하여 디지털트윈 상태를 갱신 Keep — 기존 상태가 유지되고 있다고 판단 Defer — 현재 관측만으로는 근거가 부족하여 자동 결정을 보류하고 검토 대상으로 전환

이를 통해 어떤 관측 조건에서 자동 갱신이 오히려 정확성을 떨어뜨리는지, Defer가 잘못된 갱신과 변화 미반영 사이의 균형을 어떻게 바꾸는지 분석합니다. 또 잘못된 공간 상태가 단순한 3D 표시 오류로 끝나지 않고 경로 가능 여부나 충돌 판단 같은 후속 의사결정에 어떤 영향을 주는지도 확인합니다.

1. Top-down 고정 카메라 환경의 3D 합성데이터와 정답 점유 상태 데이터를 생성한다
2. 설비 탐지 모델을 확보해 고정하고, 관측 근거의 충분성을 나타내는 별도 신호를 설계한다
3. 세 가지 상태 갱신 방식을 구현하고 관측 조건별로 비교한다
4. 잘못된 갱신, 변화 미반영, 오류 지속시간을 시간축에서 측정한다
5. 잘못된 공간 상태가 경로·충돌 판단을 바꾸는 사례를 Demo로 확인한다