정상 기준 사진과 로컬 VLM 기반 작업 전 설비 상태 판정 시스템 개발

산업현장에서는 설비 가동 전 점검이 안전사고와 설비 손상을 막는 첫 관문이지만, 사진 기반 자동 점검 기술은 현장 적용에서 세 가지 한계를 보입니다. 첫째, 학습 데이터 부족입니다. 설비마다 고장 사진을 충분히 모아 검출 모델을 학습시키는 것은 현실적으로 불가능하고, 새 설비가 들어올 때마다 다시 학습해야 합니다. 둘째, VLM 단독 사용의 한계입니다. 최근 비전-언어 모델(VLM)은 사진을 보고 이상을 설명할 수 있지만, 없는 누유를 있다고 하거나 계기 숫자를 잘못 읽는 등 확신에 찬 오류가 일정 비율로 발생하며, 모든 사진을 VLM에 보내면 설비 50대를 10분 주기로 점검할 때 하루 7,200회 호출이 발생하여 비용과 지연이 커집니다. 셋째, 데이터 보안과 네트워크 제약입니다. 공장 내부 사진의 외부 전송이 보안 정책상 막히면 외부 API 기반 진단은 처음부터 불가능하며, 현장 인터넷이 끊기면 진단이 중단됩니다. 본 프로젝트는 세 문제를 역할 분리로 동시에 다룹니다. 고장을 학습하는 대신 설비의 정상 기준 사진을 등록하고, 참조 비교 이상 탐지가 "어디를 볼지"를 정하며, 게이트가 "VLM에 물을지"를 정하고, VLM은 판정자가 아니라 관측자로서 지정된 영역만 구조화된 JSON으로 기술하며, 최종 판정은 매뉴얼 기준값과 명시적 규칙이 내립니다. 이 구조에서는 고장 라벨 없이 즉시 배치가 가능하고, VLM 호출은 이상이 의심되는 사진으로 제한되어 비용과 환각이 함께 줄어들며, 모든 처리가 현장 노트북 안에서 끝나 사진이 외부로 나가지 않습니다.

1. 고장 라벨 없이 정상 기준 사진 1~3장만으로 배치 가능한 참조 기반 이상 탐지 파이프라인 설계
2. 이상 점수 기반 게이트로 VLM 호출 대상을 선별하고, 이상 영역 crop을 근거로 제공하여 VLM 환각을 억제하는 구조 구현
3. VLM 출력을 고정 JSON 스키마로 강제하고 매뉴얼 기준값·규칙으로 판정을 분리하여, 모델을 교체해도 판정 기준이 유지되는 구조 구현
4. 실제 소형 설비와 Arduino 계측·표시 패널로 구성된 하드웨어 유닛 및 자체 설비 상태 평가셋 구축
5. 판정 근거(Heatmap·JSON·기준값 대조)를 운영자가 검증할 수 있게 제시하는 온프레미스 라이브 데모 시스템 구성