비디오 트윈 기반 Training-free 제로샷 산업 결함 검출 및 지능형 현장 모니터링 시스템 개발

제조 및 산업 현장에서는 카메라 기반 외관 검사와 설비 상태 모니터링의 중요성이 빠르게 증가하고 있다. 그러나 실제 현장에서는 다음과 같은 문제가 반복적으로 발생한다.

1. 제품 또는 부품 종류가 자주 바뀌어 매번 데이터셋을 구축하기 어렵다.
2. 희귀 결함은 데이터 수집이 어렵고, 충분한 불량 샘플 확보가 쉽지 않다.
3. 재학습 기반 시스템은 구축 및 유지 비용이 높고, 현장 적용 속도가 느리다.
4. 단일 이미지 기반 탐지는 시간적 문맥을 반영하지 못해 현장 이상 상황을 충분히 설명하지 못한다.

이에 따라 본 프로젝트는 학습 없는(training-free) 제로샷 이상 탐지 기법​과 비디오 트윈 기반 현장 표현을 결합하여, 별도의 재학습 없이도 실제 산업 현장에서 빠르게 적용 가능한 시스템을 개발하고자 한다.

본 프로젝트의 세부 목표는 다음과 같다.

• 학습 없는 제로샷 결함 검출 엔진 개발: 사전학습된 비전 인코더를 활용하여 추가 파라미터 업데이트 없이 정상/이상 여부를 판단하는 엔진을 개발한다.

• 비디오 트윈 기반 현장 상태 표현: 단일 이미지가 아닌 연속 영상 스트림과 공정 문맥 정보를 반영하여 설비 및 부품 상태를 시간적으로 표현한다.

• 이상 위치 추정 및 설명 가능성 확보: 이미지 수준 이상 탐지뿐 아니라 픽셀/영역 수준의 이상 위치 추정을 통해 운영자가 이상 원인을 직관적으로 확인할 수 있도록 한다.

• 실시간 현장 모니터링 대시보드 구현: 카메라 입력, 이상 점수, 경보, 이상 위치 시각화, 이벤트 로그를 제공하는 모니터링 인터페이스를 구현한다.

• 엣지-현장 적용성 검증: 실제 산업 현장에서 활용 가능하도록 실시간성, 경량성, 안정성을 고려한 구현 및 시연을 수행한다.

• [주요 개발 내용]

• Video Twin 개념을 반영한 현장 영상 데이터 표현 구조 설계

• Training-free 제로샷 결함 검출 알고리즘 설계 및 구현

• 이미지 수준 이상 점수 산출 및 이상 구간 탐지

• 픽셀/패치 수준 이상 위치 시각화(heatmap)

• 설비·부품 상태 변화 추적 및 이벤트 로그 기록

• 이상 발생 시 경보 및 운영자 알림 인터페이스 구현

• 웹 기반 또는 데스크톱 기반 모니터링 대시보드 개발

• 데모 시나리오 기반 성능 검증 및 사용자 피드백 반영

• [정량적 목표]

• 새로운 클래스/제품에 대해 추가 학습 없이 적용 가능

• 정상/이상 구분 성능의 정량 평가 (예: Image-level AUROC)

• 이상 위치 추정 성능 평가 (예: Pixel-level AUROC, AUPRO)

• 실시간 모니터링이 가능한 처리 속도 확보

• 이벤트 탐지 및 경보 반응 시간 최소화