안녕하세요.
담당 매니저 김수민입니다.
기간제(상주) 프로젝트 희망 근무 시작일을
등록해 주시면, 파트너님의 일정에 맞는
적합한 프로젝트를 추천해 드려요.
모집 마감
외주

등록 일자 2026.07.28.

사내 통합 LLM API 게이트웨이 구축

개발

기타

LLM 구축, 기타(내부 시스템)

예상 금액

협의 후 결정

예상 기간

30일

지원자 수

62명

모집 마감일

2026년 08월 11일

예상 시작일

2026년 08월 28일

진행 분류

기획 상태

프로젝트 경험

협업 예정 인력

우선 순위

관련 기술

litellm(오픈소스 llm 게이트웨이) 또는 langfuse 등 검증된 오픈소스 프레임워크를 기반으로 시스템을 구축

업무 내용

[프로젝트 개요]
- 사내 여러 프로젝트에서 사용 중인 Gemini API의 무분별한 호출과 비용 폭탄을 방지하기 위해 단일 엔드포인트를 제공하는 LLM API 통합 게이트웨이를 구축하는 프로젝트입니다.

[프로젝트 배경 및 목표]
- 현재 사내 여러 프로젝트에서 Gemini API를 연동하여 사용 중이거나 도입할 예정입니다. 서비스 규모가 커짐에 따라 통합적인 API 엔드포인트 관리가 필요해졌습니다. 본 프로젝트는 LiteLLM 등 검증된 오픈소스 프레임워크를 적극 활용하여 사내 서버에 API 프록시를 띄우고 API 키별 예산 통제 및 호출 제한이 정상 작동하도록 백엔드와 인프라를 세팅하는 것이 핵심 목표입니다.

[과업 범위]

미팅

사전 미팅 방식

클라이언트 위치

서울특별시 송파구

프로젝트 문의 9

비밀 댓글입니다.

2026.07.28. 오후 15:00

비밀 댓글입니다.

2026.07.28. 오후 17:23

비밀 댓글입니다.

2026.07.28. 오후 18:04

지원서 검토에 참고되실까 하여 덧붙입니다.

미팅 기회를 주시면 LiteLLM + Redis + DB를 올린 환경에서 "키 A는 예산 소진으로 차단되고, 키 B는 정상 호출되는" 장면을 화면 공유로 직접 보여드리겠습니다. 계약 전이며 비용은 없습니다. 예산 통제가 문서가 아니라 실제로 작동하는지가 이 프로젝트의 핵심이라, 그 장면 하나가 판단에 가장 빠릅니다.

배경은 이렇습니다. LLM·AI 에이전트 파이프라인을 직접 구축해 실무 납품에 사용 중이며(멀티 에이전트 오케스트레이션, 재시도·실패 복구, 호출 비용 모니터링), 비용이 어디서 새는지 실제로 겪어봤습니다. 라인페이플러스(네이버 계열) 엔지니어 출신으로 여러 팀이 공유하는 사내 공통 인프라(NX 모노레포) 구성 경험이 있고, Docker·PostgreSQL·Redis를 실사용합니다.

현재 삼성그룹 임원 대상 AI 교육에 출강 중이라, 게이트웨이 사용법을 사내 개발팀에 문서·교육으로 정리해 드리는 것도 가능합니다.

온라인 미팅 즉시 가능합니다.

2026.07.28. 오후 19:50

비밀 댓글입니다.

2026.07.29. 오전 05:22

비밀 댓글입니다.

2026.07.29. 오전 06:43

비밀 댓글입니다.

2026.07.29. 오후 16:19

비밀 댓글입니다.

2026.08.05. 오전 08:13

비밀 댓글입니다.

2026.08.06. 오후 22:50
프로젝트 지원하기
로그인하여 편리하게 이용하세요!
내 프로젝트의
적정 견적이 궁금하신가요?
등록 후 상담받기

나와 비슷한 프로젝트는
어떻게 진행했을까?

유사사례 검색 AI

비슷한 내용으로 상담받기
사내 통합 LLM API 게이트웨이 구축
예상 금액
협의 후 결정
예상 기간
30일
litellm(오픈소스 llm 게이트웨이) 또는 langfuse 등 검증된 오픈소스 프레임워크를 기반으로 시스템을 구축
[프로젝트 개요] - 사내 여러 프로젝트에서 사용 중인 Gemini API의 무분별한 호출과 비용 폭탄을 방지하기 위해 단일 엔드포인트를 제공하는 LLM API 통합 게이트...
등록한 프로젝트는 바로 공개되지 않으며, [검수 중] 메뉴에서 수정가능합니다.