단일 RGB 카메라와 Monocular Depth 기반 덤프트럭 적재 중량 추정 및 루베 산출 시스템
Monocular Depth-Guided Dump Truck Payload Weight Estimation Using a Single RGB Camera
1. 프로젝트 개요
프로젝트 요약
골재 및 벌크 제품을 출하하는 일부 제조현장에서는 계근대가 설치되어 있지 않아 덤프트럭의 적재 중량을 정확하게 측정하기 어렵고, 제품별 밀도와 적재 상태를 기준으로 루베(m³)를 산정하여 출하 및 정산에 활용하는 경우가 있습니다. 이러한 현장에서는 덤프트럭 운전기사가 차량에 탑승한 상태로 키오스크에 접근하여 적재 정보를 직접 입력하는 경우가 있으며, 이 과정에서 차량 대기시간 및 출하 로스타임이 발생할 수 있습니다. 또한 키오스크 접근 과정의 안전사고 위험, 운전기사의 수동 입력에 따른 오입력 및 데이터 신뢰성 문제, 출하 담당자의 최종 확인 업무 등 추가적인 현장 부담이 존재합니다. 반면 이러한 현장에는 덤프트럭의 적재 상태를 확인하기 위한 RGB 카메라가 이미 설치되어 있는 경우가 많습니다. 본 프로젝트에서는 별도의 LiDAR, Depth Camera, 3D Scanner를 추가하지 않고 기존 RGB 카메라 한 대를 활용하여 덤프트럭의 적재 중량을 자동 추정하는 Vision AI 시스템을 개발합니다. 고정된 RGB 카메라로 촬영한 덤프트럭 적재함 영상에서 사전학습된 Monocular Depth Estimation 모델을 이용하여 적재물의 상대적인 깊이와 형상 정보를 추출합니다. 동시에 RGB Encoder를 이용하여 적재물의 시각적 특징을 추출하고, RGB Feature와 Depth Feature를 결합한 Feature Fusion 기반 Regression 모델을 통해 최종 적재 중량을 예측합니다. AI 모델의 학습 및 성능 검증에는 실제 계근대에서 확보한 총중량과 공차중량을 이용하여 계산한 실제 적재 중량을 Ground Truth로 사용합니다. 1차 연구에서는 제품별 밀도 및 적재 형태 차이에 따른 영향을 최소화하기 위해 자갈 1종을 대상으로 하고, RGB 카메라의 위치와 촬영 각도를 고정하여 연구를 진행합니다. 최종적으로 AI가 추정한 적재 중량과 제품별 벌크 밀도 정보를 이용하여 예상 적재량(m³, 루베)을 자동 산출하고, 계근대가 없는 골재 출하 현장의 기사 수동입력, 차량 대기시간, 안전 위험 및 출하 담당자의 확인 업무를 줄일 수 있는 자동 적재량 산정 시스템의 가능성을 검증합니다.
핵심 키워드
2. 프로젝트 목표 및 내용
배경 및 필요성
골재 및 벌크 제품을 출하하는 제조현장 중 일부는 계근 설비가 구축되어 있지 않아 덤프트럭의 정확한 적재 중량을 확인하기 어렵습니다. 이러한 현장에서는 제품의 밀도와 적재 상태를 기준으로 루베(m³)를 산정하여 출하 및 정산에 활용하는 경우가 있습니다.
또한 일부 현장에서는 덤프트럭 운전기사가 차량에 탑승한 상태로 키오스크에 접근하여 적재 관련 정보를 직접 입력합니다. 이 과정에서 차량이 순차적으로 키오스크에 접근하면서 대기시간 및 출하 로스타임이 발생할 수 있으며, 차량과 키오스크 또는 주변 설비 간 접근 과정에서 안전사고 위험도 존재합니다.
운전기사가 직접 정보를 입력하기 때문에 오입력 및 데이터 신뢰성 문제가 발생할 수 있으며, 최종적으로 출하 담당자가 입력 내용을 다시 확인해야 하므로 회사 입장에서는 약 0.5인 수준의 추가적인 업무 부담이 발생할 수 있습니다.
반면 이러한 현장에는 덤프트럭 적재 상태를 확인하기 위한 RGB 카메라가 이미 설치되어 있는 경우가 많습니다. 따라서 기존 카메라 영상을 이용하여 적재 중량을 자동으로 추정할 수 있다면 LiDAR, Depth Camera 등 추가적인 고가 센서를 설치하지 않고 기존 인프라를 활용할 수 있습니다.
최근 Monocular Depth Estimation 기술은 하나의 RGB 영상으로부터 장면의 상대적인 깊이와 형상 정보를 추정할 수 있습니다. 본 프로젝트에서는 RGB 영상에서 추출한 시각적 Feature와 Monocular Depth 기반 형상 Feature를 결합하여 덤프트럭의 적재 중량을 예측하고, RGB 영상만 사용하는 방식보다 Depth 정보를 함께 사용하는 것이 중량 추정 성능 향상에 도움이 되는지를 검증합니다.
연구 단계에서는 계근대가 존재하는 현장에서 확보한 실제 계근 데이터를 Ground Truth로 사용하여 AI 모델을 학습하고 성능을 검증합니다. 이후 현장 적용 단계에서는 AI가 추정한 적재 중량과 제품별 벌크 밀도를 이용하여 예상 루베(m³)를 자동 산출하는 것을 목표로 합니다.
본 시스템은 법정 계량이나 상거래용 계량기를 직접 대체하는 것을 목표로 하지 않으며, 계근대가 설치되지 않은 현장에서 기존 RGB 카메라를 이용하여 적재량 산정 및 출하 업무를 보조·자동화하는 것을 목표로 합니다.
프로젝트 목표
본 프로젝트의 최종 목표는 단일 RGB 영상에서 추출한 시각적 특징과 Monocular Depth 기반 형상 특징을 결합하여 덤프트럭의 적재 중량을 추정하고, 실제 계근 데이터로 모델의 성능을 검증하는 것입니다. 또한 AI가 추정한 적재 중량과 제품별 벌크 밀도를 이용하여 예상 적재량(m³, 루베)을 자동 산출함으로써 계근대가 없는 골재 출하 현장에서 활용 가능한 자동 적재량 산정 시스템의 가능성을 검증합니다.
정성 목표 • 덤프트럭 적재함 ROI 추출 및 영상 전처리 파이프라인 구현 • Pretrained Monocular Depth Estimation 모델을 활용한 Depth Map 생성 • Pretrained RGB Encoder 기반 시각적 Feature 추출 • Depth Encoder 기반 적재물 형상 Feature 추출 • RGB Feature와 Depth Feature를 결합한 Feature Fusion 모델 구현 • Feature Fusion 기반 적재 중량 Regression 모델 구현 • XGBoost 등 기존 Regression 방식과 Deep Learning 모델의 성능 비교 • RGB 단독 모델, Depth 단독 모델, RGB+Depth Fusion 모델의 성능 비교 • 실제 계근대 중량과 AI 추정 중량 비교 및 오류 분석 • AI 추정 중량과 제품별 벌크 밀도를 이용한 예상 루베 자동 산출 • 실제 현장 적용을 고려한 자동 적재량 산정 프로세스 설계 • 실물 테스트베드 기반 최종 Demo 시스템 구현
정량 목표 • RGB-계근 데이터 매칭: 500 Event 이상 목표 • 초기 가능성 검증 데이터: 100~200 Event 이상 • 적재 중량 추정 목표 MAPE: 10% 이하 • Baseline 비교: 3개 이상 • 제안 방법: RGB + Monocular Depth Feature Fusion • 평가 지표: MAE, RMSE, MAPE • 최종 Demo: RGB 카메라 기반 End-to-End 실시간 또는 준실시간 동작
※ 데이터 확보량, 차량 종류, 적재 중량 범위 및 실제 현장 환경을 분석한 후 세부 정량 목표는 프로젝트 초기에 조정합니다.
주요 개발 내용 RGB 영상 및 실제 계근 데이터셋 구축 덤프트럭 적재함 ROI 및 영상 전처리 2D 영상 기반 Baseline 구현 RGB Encoder 기반 Feature Extraction Monocular Depth Estimation 및 Depth Map 생성 Depth Encoder 기반 Feature Extraction RGB + Depth Feature Fusion 기반 중량 Regression XGBoost 등 Baseline 모델과 Deep Learning 모델 성능 비교 Ablation 및 일반화 성능 분석 제품별 벌크 밀도 기반 예상 루베 산출 실물 테스트베드 및 최종 Demo 시스템 구현
최종 결과물 형태
데모 시스템
3. 시연 계획
이 프로젝트는 최종 발표에서 실물 또는 조작 가능한 형태의 라이브 시연을 수행합니다. 화면 출력만으로 끝나는 결과물이 아니라, 실제로 만들어 동작시키는 것을 목표로 하는 팀을 모집합니다.
실물 시연 형태
최종 시연 시나리오
본 프로젝트는 최종 발표에서 실제 RGB 카메라, 덤프트럭 축소 모형, 자갈 및 전자저울을 이용한 실물 테스트베드를 구성하여 조작 가능한 라이브 시연을 수행합니다. 발표자가 덤프트럭 모형 적재함에 실제 자갈을 투입하거나 제거하면 고정된 RGB 카메라가 적재함을 실시간으로 촬영합니다. 입력 영상에 대해 적재함 ROI 추출, Monocular Depth Estimation, RGB Feature 및 Depth Feature Extraction을 수행하고, Feature Fusion 기반 Regression 모델을 이용하여 현재 적재 중량을 추정합니다. 동시에 덤프트럭 모형의 실제 적재 중량을 전자저울로 측정하여 AI 추정값과 실제 측정값을 실시간으로 비교합니다. 이를 통해 적재량 변화에 따라 AI 추정값과 실제 측정값이 어떻게 변화하는지 직접 확인할 수 있도록 구성합니다. 축소 모형 Demo는 전체 시스템의 동작 과정을 보여주기 위한 테스트베드이며, 실제 덤프트럭 대상 AI 모델의 연구 성능은 실제 제조현장에서 수집한 RGB 이미지와 실제 계근 데이터를 이용하여 별도로 검증합니다. 1. 덤프트럭 축소 모형의 적재함에 자갈을 투입합니다. 2. 고정된 RGB 카메라가 적재함을 실시간으로 촬영합니다. 3. 시스템이 적재함 ROI를 추출합니다. 4. Monocular Depth Estimation 모델을 이용하여 Depth Map을 생성합니다. 5. RGB Encoder와 Depth Encoder를 이용하여 각각 RGB Feature와 Depth Feature를 추출합니다. 6. 두 Feature를 결합한 Feature Fusion 기반 Regression 모델을 이용하여 예상 적재 중량을 계산합니다. 7. 동시에 전자저울을 이용하여 실제 적재 중량을 측정합니다. 8. 화면에 AI 추정 중량과 실제 측정 중량 및 오차를 표시합니다.
시연 장소 / 필요 장비·재료
노트북 또는 PC 1대 RGB 카메라 1대 덤프트럭 축소 모형 실제 자갈 또는 모형용 골재 전자저울 AI 추론 및 결과 표시 프로그램 실제 현장 덤프트럭 RGB 테스트 데이터 실제 계근 Ground Truth 데이터
중간 점검 시연 시점
실제 덤프트럭 RGB 이미지 입력 → 적재함 ROI 추출 → Monocular Depth Map 생성 → RGB 및 Depth Feature Extraction → 초기 중량 Regression → 실제 계근값 비교 까지 동작하는 1차 End-to-End AI 시스템을 시연합니다. 최종 발표에서는 여기에 RGB 카메라, 덤프트럭 축소 모형 및 전자저울 또는 Load Cell을 추가하여 실물 테스트베드 형태로 확장합니다.
4. 학부생 팀원 모집 공고
모집 분야/역할
데이터·전처리 RGB Vision Monocular Depth Feature Fusion·Demo ※ 세부 역할은 참여 학생의 관심 분야와 경험에 따라 조정하며, 각 담당자는 하나의 영역을 주도적으로 진행하되 모든 팀원이 전체 연구 구조와 실험 결과를 공동으로 이해하고 프로젝트에 참여합니다.
필요 역량/선수과목
우대 사항
Python을 활용한 프로젝트 경험 AI 및 Computer Vision 분야에 관심이 있는 학생 PyTorch 사용 경험 OpenCV를 활용한 영상처리 경험 Machine Learning 및 데이터 분석에 관심이 있는 학생 Web Demo 개발 경험 관련 경험이 많지 않아도 Vision AI 및 스마트팩토리 분야에 관심이 있고 프로젝트에 지속적으로 참여할 수 있다면 지원 가능합니다.
참여 시 혜택
실제 제조현장의 RGB 영상 및 계근 데이터를 이용한 AI 프로젝트 경험 Computer Vision, Monocular Depth Estimation, Feature Fusion 및 Deep Learning 기반 Regression 실무 경험 데이터 수집부터 모델 개발, 성능평가, Demo까지 End-to-End 연구개발 경험 연구 성과에 따른 SW 저작권 등록 및 특허 출원 참여 기회 연구 성과에 따른 국내·외 학회 및 저널 논문 저자 참여 기회 제조 AI·스마트팩토리·Computer Vision 분야 포트폴리오 구축
지원 방법/문의
본 플랫폼 지원, 이메일
5. 학기별 추진 계획
| 기간 | 단계 | 주요 활동 |
|---|---|---|
| 1~2주 | 팀 빌딩 & 주제 구체화 | 프로젝트 범위 확정, 자갈 1종 및 대상 차량 조건 선정, 팀원 역할 분담, 관련 선행연구 조사, 개발환경 및 저장소 구축 |
| 3~5주 | 문헌조사 & 데이터 준비 | 고정 RGB 카메라 촬영 환경 확인, RGB 영상-계근 데이터 매칭, Dataset 구축, 적재함 ROI 설정, 데이터 분포 분석, 2D 영상 기반 Baseline 구현 |
| 6~9주 | 설계 및 1차 구현 (중간발표) | Monocular Depth Estimation 적용, Depth Map 생성, RGB Encoder 및 Depth Encoder 적용, RGB/Depth Feature Extraction, 중량 Regression 초기 모델 구현 및 중간발표 Demo |
| 10~13주 | 개선 및 실험/검증 | RGB·Depth Feature Fusion, MLP 기반 Regression 모델 구현, XGBoost 등 Baseline 모델 비교, RGB/Depth/Fusion 모델 비교, Ablation, 데이터 Split별 일반화 성능 평가 및 주요 실패 사례 분석 |
| 14~16주 | 결과 정리 & 발표 (최종발표) | RGB 카메라, 덤프트럭 축소 모형 및 전자저울 기반 실물 테스트베드 제작, AI 모델과 실물 Demo 통합, 제품별 벌크 밀도 기반 루베 산출 기능 구현, 실제 현장 데이터 성능 분석, 결과 그래프 및 보고서 작성, 최종 발표자료 제작 |
정기 미팅 계획
주 1회 정기 온·오프라인 미팅을 진행하며, 공유 문서를 이용하여 개발 및 실험 진행 상황을 관리합니다.
역할 분담 방식
프로젝트를 크게 데이터·전처리, RGB Vision, Monocular Depth, Feature Fusion·Demo의 4개 영역으로 구분하여 진행합니다. 데이터·전처리 담당은 RGB 이미지와 계근 데이터 매칭, Dataset 구축, 데이터 품질 검증 및 Train/Validation/Test 데이터 분리를 담당합니다. RGB Vision 담당은 덤프트럭 적재함 ROI 처리, RGB Encoder 적용 및 RGB Feature Extraction을 담당합니다. Monocular Depth 담당은 Monocular Depth 모델 적용, Depth Map 생성 및 Depth Feature Extraction을 담당합니다. Feature Fusion·Demo 담당은 RGB Feature와 Depth Feature를 결합한 중량 Regression 모델, 모델 성능 비교 및 최종 실물 Demo 통합을 담당합니다. 각 담당자는 자신의 영역을 주도적으로 진행하되 RGB Feature, Depth Feature 및 중량 Regression이 서로 밀접하게 연결되어 있으므로 연구 문제 정의, 실험 설계 및 결과 분석에는 모든 팀원이 공동으로 참여합니다.
6. 기대 효과 및 활용 계획
학습 효과
본 프로젝트를 통해 참여 학생은 실제 제조현장에서 발생하는 비정형 영상 데이터와 계근 데이터를 직접 결합하여 하나 의 AI 데이터셋으로 구성하는 과정을 경험할 수 있습니다. 특히 별도의 Depth Sensor 없이 단일 RGB 영상으로부터 Monocular Depth를 생성하고, 이를 실제 산업 문제인 적재 중량 추정에 적용함으로써 Computer Vision과 스마트팩토리 기술의 연결 과정을 학습할 수 있습니다
향후 활용 계획
제조현장 적용 프로젝트 결과는 향후 계근대가 설치되어 있지 않은 골재 출하 현장에서 기존 RGB 카메라를 활용한 자동 적재량 산정 시스템으로 활용할 수 있습니다. AI가 추정한 적재 중량과 제품별 벌크 밀도 정보를 이용하여 예상 루베(m³)를 자동 산출함으로써 덤프트럭 운전기사의 키오스크 수동입력을 최소화할 수 있습니다. 이를 통해 운전기사의 수동입력에 따른 오입력 및 데이터 신뢰성 문제를 줄이고, 차량의 키오스크 접근 과정에서 발생할 수 있는 안전사고 위험을 감소시킬 수 있습니다. 또한 여러 차량이 키오스크 사용을 위해 대기하면서 발생하는 출하 로스타임을 줄이고, 출하 담당자의 반복적인 확인 업무를 감소시켜 현장 업무 효율성을 향상시키는 것을 목표로 합니다. 추가적으로 계근대가 설치된 현장에서는 기존 계근값과 AI 추정값의 Cross Check, 과적 사전 확인 및 적재 상태 모니터링 등의 보조 기능으로 확장할 수 있습니다.