플러스프로젝트 배경
1) 문제점 ChatGPT 등 클라우드 기반 챗봇은 사용량에 따라 비용이 발생함 기업 API를 사용하는 경우 민감한 데이터 전송에 대한 우려가 있음 로컬에서 LLM을 실행하는 구조에 대한 레퍼런스가 부족함 2) 프로젝트 목표 무료이면서도 로컬에서 작동 가능한 LLM 기반 챗봇 구축 외부 네트워크 없이도 실행되는 환경을 통해 데이터 보호 가능 React 기반 UI를 활용해 사용자가
프로젝트 성과
외부 API 비용 100% 절감
기존 ChatGPT 기반 챗봇 대비, 로컬 모델 사용으로 API 호출 비용 없음
로컬 LLM 환경 구축
Ollama 기반 모델 연동 및 실행에 성공, 외부 서버 의존도 제거
사용자 경험 개선
대화 UI 구성 및 시스템 프롬프트 설정 기능 추가로 UX 향상
핵심 기능
Ollama API 연동
로컬에서 LLM 실행 후 프론트엔드와 REST API 방식으로 연동
진행 단계
기획
2025.01.
로컬 LLM 기반 챗봇 구현 목표 수립 및 기술 스택 선정 (Ollama, React)
프로젝트 상세
1) 포트폴리오 소개 오픈소스 LLM 기반의 로컬 챗봇 구현 / 챗봇 API 비용 절감을 원하는 사용자 타깃 클라우드 기반의 챗봇 솔루션은 API 호출마다 비용이 발생하거나, 데이터 보안상 외부 전송이 어려운 경우가 많습니다. 이 프로젝트는 Ollama를 활용해 로컬에서 실행 가능한 오픈소스 LLM 챗봇을 구축하고, 클라이언트가 API 비용 없이 자체적으로 AI 챗봇을 운영할 수 있는 방법을 제안하기
