플러스프로젝트 배경
문제점
- 높은 비용 및 시간 소요: 인테리어 시뮬레이션 및 공간 설계에 필요한 3D 모델링은 수작업으로 진행되어 비용과 시간이 많이 소요됨.
- 비전문가의 사용 어려움: 기존 3D 제작 도구는 도면 기반 자동화 기능이 부재하여 전문 지식 없이 사용하기 어려움.
프로젝트 목표
- AI 기반 공간 분석 및 레이블 추출: 아파트 평면도를 딥러닝 기반으로 자동 분석하여 실내 공간(벽체, 거실, 주방, 욕실 등) 및 오브젝트(문, 창문, 가전 등)의 좌표 및 방향 벡터를 포함한 레이블 데이터를 추출.
- Blender 기반 3D 자동 시각화: 추출된 정보를 기반으로 3D 객체를 자동 배치하고 Blender에서 실내 구조를 시각화.
- 완전 자동화 도구화 실현: 전체 과정을 자동화하여 End-to-End 도구로 완성함으로써 비전문가도 쉽게 사용할 수 있도록 함.
주안점
- 딥러닝 모델 설계: 복잡한 도면에서도 정확히 인식 가능한 Multi-Label Instance Segmentation 구조 설계에 주력.
- 3D 자동 변환 로직: Blender Python API를 활용하여 추출된 레이블을 기반으로 구조화된 3D 자동 변환 로직 설계 및 구현.
- 시스템 완성: 단일 이미지 입력으로 3D 결과물을 도출하는 실행 가능한 End-to-End 자동화 시스템 완성.
- 높은 비용 및 시간 소요: 인테리어 시뮬레이션 및 공간 설계에 필요한 3D 모델링은 수작업으로 진행되어 비용과 시간이 많이 소요됨.
- 비전문가의 사용 어려움: 기존 3D 제작 도구는 도면 기반 자동화 기능이 부재하여 전문 지식 없이 사용하기 어려움.
프로젝트 목표
- AI 기반 공간 분석 및 레이블 추출: 아파트 평면도를 딥러닝 기반으로 자동 분석하여 실내 공간(벽체, 거실, 주방, 욕실 등) 및 오브젝트(문, 창문, 가전 등)의 좌표 및 방향 벡터를 포함한 레이블 데이터를 추출.
- Blender 기반 3D 자동 시각화: 추출된 정보를 기반으로 3D 객체를 자동 배치하고 Blender에서 실내 구조를 시각화.
- 완전 자동화 도구화 실현: 전체 과정을 자동화하여 End-to-End 도구로 완성함으로써 비전문가도 쉽게 사용할 수 있도록 함.
주안점
- 딥러닝 모델 설계: 복잡한 도면에서도 정확히 인식 가능한 Multi-Label Instance Segmentation 구조 설계에 주력.
- 3D 자동 변환 로직: Blender Python API를 활용하여 추출된 레이블을 기반으로 구조화된 3D 자동 변환 로직 설계 및 구현.
- 시스템 완성: 단일 이미지 입력으로 3D 결과물을 도출하는 실행 가능한 End-to-End 자동화 시스템 완성.
프로젝트 성과
End-to-End 자동 3D 모델링 구현
2D 평면도 이미지 입력만으로 공간/객체 인식 및 Blender 자동 변환까지 전 과정이 완전 자동화된 End-to-End 시스템을 완성
객체/공간 인식 정확도 90% 달성
복잡한 도면 환경에 맞춘 Multi-Label Instance Segmentation 모델을 통해 실내 공간 및 객체의 위치, 크기, 방향을 90% 이상의 정확도로 추출
핵심 기능
딥러닝 기반 실내 객체 자동 인식
2D 평면도에서 Multi-Label Instance Segmentation 모델을 사용하여 안방, 주방 등 공간과 문, 싱크대 등 수십 종의 객체를 동시에 인식하고 분리
정량적 3D 변환 레이블 추출
인식된 각 객체에 대해 크기(Width/Height), 위치(X/Y), 방향 벡터 정보를 정량적으로 추출하여, 3D 모델 변환에 필요한 핵심 데이터로 활용
Blender API 기반 3D 자동 구축
추출된 레이블 정보를 Python 기반으로 계산하여 Blender의 3D 오브젝트(벽, 창문 등) 속성에 직접 입력하고, 실내 구조를 자동으로 생성 및 시각화
진행 단계
기획
2022.01.
3D 모델링의 비효율성 문제 정의, 평면도 기반 딥러닝/Blender 연동 자동화 목표 설정 및 End-to-End 시스템 구조를 설계
데이터 수집 및 가공
2022.02.
다양한 아파트 평면도를 수집하고, 딥러닝 모델 학습을 위해 공간 및 객체별 좌표/방향 벡터를 포함한 Instance Label 데이터를 정밀하게 가공
딥러닝 모델 학습
2022.04.
Multi-Label Instance Segmentation 모델을 설계하고, 경계 구분이 어려운 영역의 정확도 확보를 위해 데이터 전처리를 자동화하며 학습을 진행
Blender 연동 자동화 개발
2022.04.
추출된 레이블 데이터를 기반으로 벽체, 문, 가구 등 3D 객체의 크기, 위치, 방향을 계산하여 Blender Python API를 통한 자동 배치 로직을 구현
테스트 및 튜닝
2022.06.
실제 평면도를 입력하여 AI 인식 정확도와 3D 모델 변환 시 발생하는 객체 간 정합 오차를 측정하고, 모델 및 변환 로직을 반복적으로 튜닝
프로젝트 상세
규격화된 아파트 2D 평면도를 입력 받아, 딥러닝 모델로 공간과 객체를 인식 및 분리하고, Python 기반 Blender API를 이용해 3D 모델로 자동 변환하는 End-to-End 시스템 개발
특징
- 단일 이미지 입력: 사용자는 별도 조작 없이 단일 이미지 입력만으로 3D 전환된 실내 구조를 얻을 수 있음.
- 완전 자동화: 전체 프로세스가 완전 자동화되어 비전문가도 쉽게 사용할 수 있도록 설계됨.
- Blender API 연동: Python 기반 Blender API를 활용하여 3D 모델링의 유연성과 확장성을 확보함.
주요 기능
- 딥러닝 기반 객체 인식 및 분리
학습된 Segmentation 모델을 통해 평면도 내의 각 공간(안방, 거실, 주방, 욕실, 베란다, 다용도실 등)과 객체(문, 창문, 변기, 싱크대, 욕조, 가전 등)의 Instance Label을 정확히 추출함.
- 좌표 및 방향 벡터 추출
분리된 각 객체의 크기(Width/Height), 위치(X/Y 좌표), 방향(회전 벡터) 정보를 정량적으로 추출하여 3D 배치에 필요한 핵심 데이터로 활용함.
- Blender 3D 객체 자동 배치
추출된 객체의 크기, 방향, 위치 정보에 따라 Blender 상에 대응하는 3D 오브젝트(벽, 가구, 창문 등)를 자동으로 생성하고 배치하는 로직을 구현함.
- 데이터 전처리 및 정확도 확보
객체 간 경계 구분이 어려운 평면도에서의 정확도 확보를 위해 Label 세분화 및 데이터 전처리 자동화 파이프라인을 구축하여 모델 성능을 개선함.
특징
- 단일 이미지 입력: 사용자는 별도 조작 없이 단일 이미지 입력만으로 3D 전환된 실내 구조를 얻을 수 있음.
- 완전 자동화: 전체 프로세스가 완전 자동화되어 비전문가도 쉽게 사용할 수 있도록 설계됨.
- Blender API 연동: Python 기반 Blender API를 활용하여 3D 모델링의 유연성과 확장성을 확보함.
주요 기능
- 딥러닝 기반 객체 인식 및 분리
학습된 Segmentation 모델을 통해 평면도 내의 각 공간(안방, 거실, 주방, 욕실, 베란다, 다용도실 등)과 객체(문, 창문, 변기, 싱크대, 욕조, 가전 등)의 Instance Label을 정확히 추출함.
- 좌표 및 방향 벡터 추출
분리된 각 객체의 크기(Width/Height), 위치(X/Y 좌표), 방향(회전 벡터) 정보를 정량적으로 추출하여 3D 배치에 필요한 핵심 데이터로 활용함.
- Blender 3D 객체 자동 배치
추출된 객체의 크기, 방향, 위치 정보에 따라 Blender 상에 대응하는 3D 오브젝트(벽, 가구, 창문 등)를 자동으로 생성하고 배치하는 로직을 구현함.
- 데이터 전처리 및 정확도 확보
객체 간 경계 구분이 어려운 평면도에서의 정확도 확보를 위해 Label 세분화 및 데이터 전처리 자동화 파이프라인을 구축하여 모델 성능을 개선함.
Input 데이터 예시1
Input 데이터 예시2
Output 예시1
Output 예시2
