사내 통합 LLM API 게이트웨이 구축

개발

웹기타

LLM 구축, 기타(내부 시스템)

예상 금액

협의 후 결정

예상 기간

30일

지원자 수

11명

모집 마감일

2026년 08월 11일마감 2주 전

예상 시작일

2026년 08월 28일

진행 분류

기획 상태

프로젝트 경험

협업 예정 인력

우선 순위

업무 내용

[프로젝트 개요]
- 사내 여러 프로젝트에서 사용 중인 Gemini API의 무분별한 호출과 비용 폭탄을 방지하기 위해 단일 엔드포인트를 제공하는 LLM API 통합 게이트웨이를 구축하는 프로젝트입니다.

[프로젝트 배경 및 목표]
- 현재 사내 여러 프로젝트에서 Gemini API를 연동하여 사용 중이거나 도입할 예정입니다. 서비스 규모가 커짐에 따라 통합적인 API 엔드포인트 관리가 필요해졌습니다. 본 프로젝트는 LiteLLM 등 검증된 오픈소스 프레임워크를 적극 활용하여 사내 서버에 API 프록시를 띄우고 API 키별 예산 통제 및 호출 제한이 정상 작동하도록 백엔드와 인프라를 세팅하는 것이 핵심 목표입니다.

[과업 범위]