플러스프로젝트 배경
1) 문제점 - 클라우드 LLM·이미지·음성 API는 사용량에 따라 비용이 계속 누적됨 - 민감 데이터를 외부 API로 전송해야 하고, 모델 커스텀(파인튜닝)에도 제약 - 소형 GPU 한 장에 여러 무거운 AI 서비스를 동시에 올리면 메모리 부족 2) 프로젝트 목표 - 단일 GPU로 LLM·음성·이미지를 자체 호스팅 - 데이터·모델을 외부로 내보내지 않는 온프레미스 운영 - GPU 메모리 한계
프로젝트 성과
단일 12GB GPU로 LLM·음성·이미지 3종 통합 운영
고가 GPU 없이 RTX 3060 12GB 한 장으로 LLM·이미지·음성 AI 스택을 온프레미스로 구축, 클라우드 API 의존과 데이터 외부 전송을 제거.
GPU 메모리 오케스트레이션으로 12GB 한계 극복
이미지·음성 생성 시 LLM을 자동으로 내리는 온디맨드 스위칭(30~60초)과 워크로드별 상한 차등·유휴 자동 회수로 다중 서비스를 공존시킴.
핵심 기능
vLLM 온디맨드 LLM 서빙
경량 오픈웨이트(E2B급)와 자체 파인튜닝 머지 모델을 vLLM으로 서빙하고 LoRA 어댑터를 지원. 필요 시 기동해 GPU를 아낌.
진행 단계
AI 서비스 스택 설계
2025.05.
LLM·이미지·음성 서비스를 선정하고 12GB GPU 메모리 예산을 서비스별로 배분 설계.
프로젝트 상세
1) 프로젝트 소개 RTX 3060 12GB 단일 GPU 서버에서 LLM(텍스트)·음성(TTS)·이미지 생성을 모두 자체 호스팅하는 온프레미스 AI 인프라를 직접 구축·운영했습니다. 외부 클라우드 API 없이 사내 GPU에서 AI 기능을 제공. (타깃: 비용·보안 때문에 자체 GPU에 AI를 올리려는 중소기업·기관) 2) 작업 범위 - vLLM LLM 서빙: 경량 오픈웨이트(E2B급, LoRA 어댑터
