이기종 데이터(센서·비전) 융합 처리를 위한 미니 데이터 레이크 구축 및 원인 분석
Mini Data Lake Construction and Cause Analysis for Heterogeneous Data (Sensor/Vision) Fusion
1. 프로젝트 개요
프로젝트 요약
방대한 센서 수치(정형)와 스마트폰 카메라의 실시간 비전 이미지(비정형)를 병목 없이 수용하는 파일 기반 미니 데이터 레이크 아키텍처를 구축합니다. 카메라가 외관 불량을 포착하는 즉시 시계열 데이터를 융합 분석하여, 해당 시점의 이상 유무와 근본 원인을 실시간 대시보드에 신속하게 표출하는 엔드투엔드 파이프라인을 구현합니다.
핵심 키워드
2. 프로젝트 목표 및 내용
배경 및 필요성
실시간으로 쏟아지는 방대한 센서 데이터와 비전 검사 이미지 등 이기종(정형/비정형) 데이터가 혼재되어 발생합니다. 데이터베이스에 이러한 대용량 데이터를 곧바로 적재하고 융합 분석하기에는 심각한 구조적 한계가 존재합니다. 따라서 복잡한 센서 원시 데이터를 스마트 파일 포맷으로 압축 저장하고 비전 카메라의 이미지 데이터를 병목 없이 동시에 수용할 수 있는 미니 데이터 레이크 아키텍처 도입이 필수적입니다. 이를 통해 외관 불량이 발생했을 때 해당 시점의 공정 데이터를 레이크에서 즉각적으로 조회하여 장비 이상 유무를 유연하고 강력한 원인파악을 할수 있게 됩니다
프로젝트 목표
미니 데이터 레이크 아키텍처 구축: 대규모 원시 센서 데이터를 쪼개어 스마트 파일 포맷으로 파티셔닝 압축 저장하고, 스마트폰 비전 카메라의 비정형 이미지 데이터를 딜레이 없이 동시에 수용하는 스토리지 환경을 구성합니다.
데이터 규격화 및 시계열 융합 파이프라인 설계: 데이터 스트리밍 과정(Python)에서 원시 센서 데이터의 복잡한 지수 표현식을 실수로 일괄 전처리하고, 비전 카메라에서 포착된 불량 시점을 기준으로 정형 데이터와 비정형 데이터를 논리적으로 융합합니다.
고속 쿼리 처리 기반 장비 이상 원인 분석: 카메라가 외관 불량을 감지하면, 백엔드 시스템이 레이크에 적재된 파일들을 즉각 스캔하고 복잡한 SQL JOIN 연산을 수행하여 해당 시점의 공정 이상 원인을 고속으로 파악합니다.
최종 결과물 형태
데모 시스템
3. 시연 계획
이 프로젝트는 최종 발표에서 실물 또는 조작 가능한 형태의 라이브 시연을 수행합니다. 화면 출력만으로 끝나는 결과물이 아니라, 실제로 만들어 동작시키는 것을 목표로 하는 팀을 모집합니다.
실물 시연 형태
최종 시연 시나리오
빨간색 등 불량 모형을 스마트폰 카메라로 촬영합니다. 파이썬이 즉시 불량으로 감지하고 레이크에 이미지를 저장합니다. 비전 카메라의 불량 포착 시점을 기준으로, 백엔드 시스템이 즉각 반응합니다. 레이크에 적재된 다수의 파일들을 고속 스캔하고 복잡한 SQL JOIN 연산을 수행하여 정형/비정형 데이터를 논리적으로 융합합니다. 쿼리 결과에 따라 대시보드에 즉각적인 경고 팝업이 발생하며, 캡처된 불량 이미지와 함께 외관 불량 발생 이라는 근본 원인 파악 결과를 화면에 굵은 텍스트가 즉각적으로 나타납니다.
4. 학부생 팀원 모집 공고
모집 분야/역할
데이터 분석가 (1명): 데이터 포맷팅(지수 표현식 변환 등), 백엔드/데이터 엔지니어 (1명): Java 및 SQL 활용 다중 공정 테이블 조인(JOIN) 최적화 및 API 개발 웹 개발자 (1명): JavaScript/jQuery 연동 다중 비동기 통신(AJAX) 기반
필요 역량/선수과목
우대 사항
데이터 분석에 관심있는 학생, 스마트팩토리·제조 공정 데이터에 관심 있는 학생
참여 시 혜택
대규모 파일 기반 스토리지 아키텍처 경험
지원 방법/문의
본 플랫폼 지원, 이메일
5. 학기별 추진 계획
| 기간 | 단계 | 주요 활동 |
|---|---|---|
| 1~2주 | 팀 빌딩 & 주제 구체화 | 팀원 역할 분담 |
| 3~5주 | 문헌조사 & 데이터 준비 | 미니 레이크 저장 인프라 세팅. 스마트폰 촬영 사진을 파이썬으로 전송받고 OpenCV로 색상 분석하는 기초 테스트 |
| 6~9주 | 설계 및 1차 구현 (중간발표) | 불량 사진 판별 및 레이크 이미지 적재 구현 센서 데이터의 지수 표현식 전처리 및 스마트 파일 포맷 변환 로직 준비 |
| 10~13주 | 개선 및 실험/검증 | 불량 포착 시점 기준 정형/비정형 데이터 시계열 융합 매핑 백엔드 연산 및 공정 이상 원인 파악 로직 구현 |
| 14~16주 | 결과 정리 & 발표 (최종발표) | 실물 모형을 활용한 전체 파이프라인 연동 테스트 및 응답 속도 최적화 |
정기 미팅 계획
주 1회 정기 온/오프라인 미팅
역할 분담 방식
조율 후 진행
6. 기대 효과 및 활용 계획
학습 효과
- 대규모 원시 데이터의 수집부터 가공, 적재, 서빙까지 이어지는 전체 데이터 파이프라인 구축 과정 - 대용량 데이터 처리 속도와 저장 효율의 이점을 기술적으로 체득 - 마트폰 카메라로 촬영한 사진(비정형)과 공정 센서 수치(정형)를 발생 시점 기준으로 결합하는 복합적인 데이터 핸들링 능력
향후 활용 계획
- 고가의 산업용 카메라나 무거운 서버 인프라 없이, 스마트폰과 로컬 PC(미니 레이크)만으로 구축 가능한 경량화된 스마트팩토리 아키텍처로 활용 - 팀원들이 실제 현업에서 요구하는 '데이터 인프라 구축 및 파이프라인 설계' 경험을 증명하는 강력한 실무 포트폴리오로