플러스프로젝트 배경
(1) 제조업 외국인 근로자 교육의 언어 장벽 및 숙련자 의존성 - 중소 제조업 현장에서 외국인 근로자 비중이 급증했으나, 한국어 중심 지시서와 안전 자료로 인해 작업 순서 및 위험 요소 이해 부족으로 작업 오류와 사고 위험이 상존했습니다. - 숙련자의 구두 설명과 반복 시범에 의존하여 시간과 인력 부담이 크고 전달 품질 편차로 교육 일관성 확보가 어려웠습니다. - 기존 텍스트 위주 한국어 매뉴얼은 정보
프로젝트 성과
영상 기반 5단계 조립 절차서 자동 생성 파이프라인 구축
영상 입력부터 AI 분석, 절차서 생성, 모국어 변환, 작업자 안내로 이어지는 파이프라인을 완성해 표준 작업 절차를 체계화했습니다
비전·음성·LLM 멀티모달 AI 분석 엔진 결합
YOLOv8 객체·공구 인식, MediaPipe 동작 인식, Whisper 음성 인식, GPT-4o 절차 생성을 통합해 작업 단계를 정밀 분할했습니다
Redis 큐 & Celery 워커 기반 비동기 대기열 분산 처리 구현
고부하 GPU 영상 분석 요청을 비동기 큐로 분리해 즉각적인 접수 응답을 제공하고 완료 시 결과를 안전하게 전달하도록 설계했습니다
관리자 검수(Human-in-the-loop) 및 모국어 멀티모달 안내 체계 확립
관리자가 현장 특수성을 검수·승인한 콘텐츠만 배포하고, DeepL 번역과 ElevenLabs 음성 합성을 연동해 다국어 안내를 제공합니다
핵심 기능
객체·동작 인식 기반 작업 영상 자동 분할 및 절차서 생성
YOLOv8로 공구/객체를 인식하고 MediaPipe로 손 동작을 추적해 작업 단계를 분할합니다. Whisper 음성 인식과 GPT-4o를 연동해 숙련자 영상에서 텍스트와 핵심 장면 절차서를 자동 도출합니다
진행 단계
요구사항 정의 및 Assembly101 데이터셋 벤치마크
2026.03.
조립 공정 단계·공구·동작 라벨 정의, 30fps 프레임 분할 및 단계 분할 정확도 검증
프로젝트 상세
[프로젝트 개요] 중소 제조 현장의 외국인 근로자를 위해 숙련자의 작업 영상을 AI로 분석하여 단계별 조립 공정 절차서를 자동 생성하고, 이를 모국어 멀티모달(텍스트, 음성, 아이콘, 핵심 장면)로 안내하는 스마트팩토리 솔루션입니다. 비전 AI, 음성 인식, LLM, 다국어 음성 합성을 통합한 파이프라인과 비동기 분산 처리 백엔드, React 기반 관리자 검수 웹 콘솔을 구축했습니다. [1. 프로젝트
