[프로젝트 개요] RTX 5090 서버에서 구동 중인 TTS 서비스(LightTTS + CosyVoice)의 서빙 성능을 최적화하고, 동시 요청 시 발생하는 안정성 문제를 해결하는 프로젝트입니다.(모델 학습 프로젝트가 아니며, 서버 엔지니어링 및 최적화 프로젝트입니다.)
[프로젝트 배경 및 목표] 현재 높은 사양인 RTX 5090 GPU를 사용하고 있음에도 불구하고, 소프트웨어(서빙) 효율 문제로 인해 하드웨어 성능을 제대로 활용하지 못하고 있습니다.
비밀 댓글입니다.