엣지 환경 멀티모달 신뢰도 융합 기반 설비·부품 이상 상태 인지 엔진 개발
Multimodal Reliability-Gated Anomaly Detection Engine for Edge-based Industrial Safety Monitoring
1. 프로젝트 개요
프로젝트 요약
산업 현장의 설비·부품 이상 징후를 사전에 인지하기 위해 RGB·적외선(IR)·3D 포인트클라우드를 함께 활용하는 멀티모달 AI 엔진을 개발한다. 상황에 따라 각 센서의 신뢰도를 동적으로 판별해 가중 융합함으로써, 신뢰도가 낮은 입력이 전체 판정을 오염시키는 문제를 억제한다. 고가의 전용 검사 장비 없이 제조 현장에 적용 가능한 경량 이상 인지 엔진 구현을 목표로 한다.
핵심 키워드
2. 프로젝트 목표 및 내용
배경 및 필요성
중소 제조 현장에서는 고가의 3D 스캔 장비나 전용 검사 설비를 도입하기 어렵고, 불량·사고 데이터의 수집 자체가 곤란하여 지도학습 기반 접근이 실효적이지 않다. 따라서 정상 데이터만으로 학습 가능한 비지도 이상탐지(Anomaly Detection)와, 소수 샘플만으로 새로운 대상에 적응하는 few-shot 기법이 디지털 격차 해소 관점에서 높은 활용 가치를 갖는다.
한편 기존 멀티모달 시스템은 여러 센서 입력을 단순 결합하거나 동일 비중으로 처리하는 경우가 많아, 신뢰도가 낮은 입력이 전체 판정을 오염시키는 문제가 발생한다. 특히 3D 포인트클라우드는 대상 특성에 따라 판별력 편차가 크며, 이러한 입력이 융합 과정에서 그대로 반영되면 오판정으로 이어진다. 이는 안전 필수(safety-critical) 시스템에서 오작동으로 직결되므로, 입력별 신뢰도를 조건부로 추정하여 융합 가중치를 산출하는 게이팅(gating) 기법이 요구된다.
본 프로젝트는 RGB·IR·3D 정보를 함께 활용하되 상황별 센서 신뢰도를 동적으로 반영하는 멀티모달 AI를 개발하여, 정확성과 신뢰성을 동시에 확보한 설비·부품 이상 상태 인지 기술을 구현하는 것을 목표로 한다.
프로젝트 목표
설비·부품 이상 인지 엔진을 완성하고, 이를 실질적 연구 성과물 및 현장 적용 가능한 모듈로 연결한다.
- 핵심 기술 개발: RGB·적외선·3D 다중 센서 데이터를 신뢰도 기반으로 융합하여 미세 이상을 탐지하는 멀티모달 인지 엔진 구현
- 판단 근거 가시화: 어떤 센서가 판정에 결정적이었는지를 신뢰도 히트맵으로 제시하여, 작업자의 위험 인지 및 판정 이력 기록에 활용 가능한 형태로 출력
- 엣지 적용성 확보: 온디바이스 추론 지연 및 모델 경량화 수준을 측정하여 단말 단독 구동 가능성 검증
- 소프트웨어 등록(SW 저작권): 개발한 인지 엔진을 소프트웨어 저작권으로 등록
- 특허 출원: 핵심 방법론(센서 신뢰도 기반 융합 게이팅)에 대한 국내 특허 출원
- 해외 학회/저널 논문 투고: 국제 학회 또는 SCI(E)급 저널 투고
[정량적 목표]
- 평가 데이터셋 : MulSen-AD (RGB + IR + Point Cloud, 15 Categories)
- 인지 성능 : Baseline(TripleAD) 대비 Object-level AUROC 향상
- 신뢰성 검증 : 신뢰도 낮은 센서(Point Cloud) 오염 억제 효과 ablation 확인
- 실시간성 : 엣지 디바이스 단일 샘플 추론 지연 측정 및 경량화
- 데이터 효율 : few-shot 조건(소수 정상 샘플)에서의 성능 유지 확인
최종 결과물 형태
데모 시스템
3. 시연 계획
이 프로젝트는 최종 발표에서 실물 또는 조작 가능한 형태의 라이브 시연을 수행합니다. 화면 출력만으로 끝나는 결과물이 아니라, 실제로 만들어 동작시키는 것을 목표로 하는 팀을 모집합니다.
실물 시연 형태
최종 시연 시나리오
Streamlit 기반 관제형 웹 인터페이스와 실물 검사 거치대를 연동한 이상 인지 시스템을 시연한다. 화면 출력만 제시하는 것이 아니라, 관람자가 실물 시료를 직접 조작하고 그 결과가 실시간으로 판정에 반영되는 참여형 시연으로 진행한다. (1) 관람자가 준비된 실물 시료(정상품/결함품)를 거치대에 직접 올린다. 거치대에 고정된 RGB 카메라와 뎁스 센서가 그 자리에서 데이터를 취득하고, Streamlit 화면의 "현장 취득" 버튼으로 즉시 인지 파이프라인에 입력된다. (2) 센서별 이상 점수가 산출되고, 상황별 신뢰도에 따라 가중 융합된 최종 판정(정상/이상)이 관제 화면에 표시된다. 이상 판정 시 연결된 경광등·부저가 물리적으로 동작하여, 화면 밖 현장 경보까지 이어지는 구조를 확인한다. (3) 어떤 센서가 판정에 결정적이었는지를 신뢰도 히트맵으로 오버레이하여, 단순 판정을 넘어 판단 근거를 확인하고 판정 이력으로 기록할 수 있는 형태로 제시한다. (4) 관람자가 거치대 조명을 낮추거나 시료를 기울여 특정 센서 입력을 의도적으로 열화시키면, 해당 센서의 신뢰도 가중치가 화면에서 실시간으로 하향 조정되는 과정을 직접 확인한다. 동일 조건에서 Baseline(TripleAD)과 제안 기법을 나란히 구동해, 약한 센서의 오염이 Baseline에서는 오판정으로 이어지지만 제안 기법에서는 억제되는 차이를 즉석에서 비교한다. (5) 추론은 엣지 디바이스에서 수행하며 지연(ms)을 화면에 실시간 표시한다. 네트워크를 차단한 상태에서도 단말 단독으로 인지 기능이 유지됨을 함께 보인다. (6) MulSen-AD 15개 카테고리에 대한 사전 학습 결과는 별도 탭에서 조회 가능하며, 관람자가 원하는 카테고리를 선택해 즉석에서 판정을 재현할 수 있다.
시연 장소 / 필요 장비·재료
학과 강의실
중간 점검 시연 시점
MulSen-AD 기준 센서별 이상 점수 산출 및 신뢰도 가중치 계산 파이프라인 정상 동작 확인
4. 학부생 팀원 모집 공고
모집 분야/역할
멀티모달 AI 이상탐지 엔진 개발 프로젝트에 함께 참여할 학부 연구원을 모집합니다. 특정 역할에만 국한되지 않고, 팀원 전원이 주제 구체화·설계·구현·실험·발표 전 과정에 함께 참여합니다. 다만 진행 효율을 위해 아래와 같이 주 담당 영역을 나누어 각자 한 영역을 주도합니다. 핵심 파이프라인 개발 (백본·모델 구현) 실험 및 성능 평가 (비교 실험·ablation·검증) 웹 데모(Streamlit) 개발 및 문서화 (논문·특허) 담당 영역은 고정된 분업이 아니라 진행 상황에 따라 유연하게 조정되며, 모든 팀원이 프로젝트 전반을 함께 이해하고 기여하는 것을 지향합니다.
필요 역량/선수과목
우대 사항
AI·컴퓨터비전 분야에 관심이 있거나 Python을 활용한 프로젝트 경험이 있는 학생을 우대합니다. PyTorch, Google Colab, 3D 데이터 처리, 캡스톤디자인 수강 또는 논문 작성 경험이 있으면 도움이 되지만 필수 조건은 아닙니다. 관련 경험이 없어도 꾸준히 학습하고 실험에 적극적으로 참여할 수 있다면 지원 가능합니다.
참여 시 혜택
- 소프트웨어 저작권 등록, 특허 출원 공동 발명자 등재, 국제 학회·저널 논문 공저자 참여 기회 - 멀티모달 AI·컴퓨터비전 실무 및 연구 전 과정 경험 - 대학원 진학·취업에 활용 가능한 연구 포트폴리오 확보 - 지도교수 및 연구팀과의 협업·자문 기회
지원 방법/문의
본 플랫폼 지원 또는 이메일 문의
5. 학기별 추진 계획
| 기간 | 단계 | 주요 활동 |
|---|---|---|
| 1~2주 | 팀 빌딩 & 주제 구체화 | 역할 분담, MulSen-AD 벤치마크 및 연구 목표 확정, 개발 환경(GPU 서버·저장소·엣지 보드) 세팅 |
| 3~5주 | 문헌조사 & 데이터 준비 | 다센서 이상탐지 선행연구(TripleAD, 신뢰도 기반 융합) 조사, MulSen-AD 확보 및 전처리, 백본(DINO+PointMAE+memory bank) 재현 |
| 6~9주 | 설계 및 1차 구현 (중간발표) | 상황별 센서 신뢰도 프로파일링 모듈과 가중 융합 게이팅 설계·구현, 센서별 이상 점수 산출 및 초기 신뢰도 히트맵 확보, 엣지 보드 포팅 |
| 10~13주 | 개선 및 실험/검증 | 손실·정규화 튜닝, Baseline 대비 AUROC 비교, ablation 및 few-shot 실험, 약한 센서 오염 억제 효과 검증, 온디바이스 추론 지연 측정 |
| 14~16주 | 결과 정리 & 발표 (최종발표) | 시연 완성, SW 등록, 논문·특허 초안 작성, 결과 정리 |
정기 미팅 계획
매주 화요일 오후 5시
역할 분담 방식
핵심 파이프라인(백본·게이팅 모듈 구현), 실험·평가(성능 비교·ablation), 엣지 포팅·시연 키트 및 문서화(논문·특허)로 나누되, 전원이 주제·설계에 함께 참여하고 담당 영역을 주도한다. 진행 상황에 따라 유연하게 조정한다.
6. 기대 효과 및 활용 계획
학습 효과
데이터 처리부터 모델 설계·구현, 엣지 포팅, 실험·검증, 논문·특허 작성까지 연구 전 과정을 경험한다. 이종 센서 데이터 처리 역량, 온디바이스 AI 최적화 경험, 체계적 연구 방법론, 실제 성과물 산출 경험을 확보한다.
향후 활용 계획
개발된 인지 엔진은 현장 안전관제 시스템의 설비 상태 인지 모듈로 연계 가능하며, 판정 근거 가시화 결과는 작업자의 위험 인지 확인 및 이력 기록에 활용될 수 있다. 별도의 대규모 인프라 없이 기존 카메라 인프라만으로 적용 가능하므로 중소기업의 디지털 전환 진입장벽을 낮추는 데 기여한다. 참여 학생은 스마트팩토리·제조 AI 분야 취업 시 실무형 포트폴리오로, 대학원 진학 시 연구 역량 증빙 자료로 활용한다.