플러스프로젝트 배경
분산된 LLM 키와 호출 비용을 단일 게이트웨이로 통제하고 팀별 예산·호출한도·감사를 운영 가능하게 만들기 위한 독립 설계입니다.
프로젝트 성과
예산 초과·Rate Limit·폐기 키 차단 HTTP 수용 테스트
합성 로컬 게이트웨이에서 402·429·401 차단과 200 정상 호출을 실제 실행해 정책 동작을 검증했습니다.
핵심 기능
키별 예산·호출 한도와 Fail-closed 정책
예산 초과와 Rate Limit을 호출 전에 차단하고 DB·Redis 장애 시 비용 통제 우선의 안전한 장애 모드를 적용합니다.
진행 단계
1. 정책 모델과 OpenAI 호환 HTTP 독립 데모
2026.07.
키 유효성, RPM, 일·월 예산, 비용 정산, 오류 응답, 운영 로그 구조를 구현하고 자동 테스트했습니다.
프로젝트 상세
사내 여러 프로젝트의 LLM 호출을 단일 엔드포인트로 통합하고 Virtual Key별 Rate Limit·일/월 Budget Cap·자동 차단·감사 이력을 적용하는 게이트웨이 설계입니다. [핵심 구조] - LiteLLM 기반 OpenAI 호환 단일 엔드포인트 - Gemini 우선 연동과 OpenAI·Claude 확장 Alias - Redis 원자 카운터 기반 RPS/RPM - PostgreSQL 기반 키·팀
