플러스프로젝트 배경
1)배경
기존 OCR 실시간 오버레이 프로그램의 경우 파파고 API를 사용하는 편이라 게임에서만 종종 이용되어왔습니다. 이때문에 불편한점과 한계가 명확하여 LLM을 사용하여 고품격 오버레이 화면 번역기를 만들었습니다.
기존 OCR 실시간 오버레이 프로그램의 경우 파파고 API를 사용하는 편이라 게임에서만 종종 이용되어왔습니다. 이때문에 불편한점과 한계가 명확하여 LLM을 사용하여 고품격 오버레이 화면 번역기를 만들었습니다.
프로젝트 성과
빠르고 정확하고 광범위하게 번역 제공
오버레이 지정후 단축키와 클릭으로 손쉽게 고 품질의 번역을 화면에 송출하여 LLM 홈페이지에 가서 직접 전달 없이 즉시 번역을 사용자가 얻습니다.
핵심 기능
듀얼 LLM 엔진 지원 (Hybrid Translation Engine)
사용자의 환경과 필요에 따라 클라우드와 로컬 모델을 선택적으로 사용할 수 있습니다.
• Cloud Mode: Google Gemini API를 연동하여 빠르고 정확한 고품질 번역을 지원
• Local Mode
• Cloud Mode: Google Gemini API를 연동하여 빠르고 정확한 고품질 번역을 지원
• Local Mode
고성능 OCR 및 Vision 기술 통합
다양한 OCR 엔진: 시스템 리소스를 적게 소모하는 WinOCR (Windows 내장), 오픈소스인 RapidOCR, EasyOCR을 지원합니다 또한 비전LLM API와 연계하여 정확도를 높힐수도 있습니다.
Triple Ensemble 모드
WinOCR, RapidOCR, EasyOCR 세 가지 엔진의 결과를 결합하여 인식률을 극대화하는 알고리즘을 구현했습니다
프로젝트 상세
실시간 화면 캡처 및 LLM 기반 오버레이 번역 솔루션
1. 프로젝트 개요
이 프로젝트는 Windows 환경에서 화면의 특정 영역을 실시간으로 캡처하여 텍스트를 추출(OCR)하고, 대규모 언어 모델(LLM)을 활용해 번역한 뒤 원본 텍스트 위에 오버레이(Overlay) 형태로 보여주는 Python 애플리케이션입니다.
• 주요 목표: 사용자가 별도의 번역 창을 띄우지 않고도 게임, PPT, 문서 등 화면 상의 모든 텍스트를 즉각적으로 번역하여 시각적 편의성을 제공함.
• 개발 환경: Windows 10/11, Python 3.10+.
2. 핵심 기능 (Key Features)
2.1. 듀얼 LLM 엔진 지원 (Hybrid Translation Engine)
사용자의 환경과 필요에 따라 클라우드와 로컬 모델을 선택적으로 사용할 수 있습니다.
• Cloud Mode: Google Gemini API를 연동하여 빠르고 정확한 고품질 번역을 지원합니다.
• Local Mode: Ollama 프레임워크를 통해 로컬에 설치된 LLM(Gemma, Llama 등)을 사용하여, 오프라인 환경에서도 무료로 번역이 가능하며 데이터 프라이버시를 보장합니다1) 포트폴리오 소개 : 서비스 카테고리(ex. 커머스, AI 등)와 메인 타깃(ex. 주부, 청소년) 등을 포함한 간략한 소개
- 예시 : 주부들을 위한 생활용품 커머스 개발
1. 프로젝트 개요
이 프로젝트는 Windows 환경에서 화면의 특정 영역을 실시간으로 캡처하여 텍스트를 추출(OCR)하고, 대규모 언어 모델(LLM)을 활용해 번역한 뒤 원본 텍스트 위에 오버레이(Overlay) 형태로 보여주는 Python 애플리케이션입니다.
• 주요 목표: 사용자가 별도의 번역 창을 띄우지 않고도 게임, PPT, 문서 등 화면 상의 모든 텍스트를 즉각적으로 번역하여 시각적 편의성을 제공함.
• 개발 환경: Windows 10/11, Python 3.10+.
2. 핵심 기능 (Key Features)
2.1. 듀얼 LLM 엔진 지원 (Hybrid Translation Engine)
사용자의 환경과 필요에 따라 클라우드와 로컬 모델을 선택적으로 사용할 수 있습니다.
• Cloud Mode: Google Gemini API를 연동하여 빠르고 정확한 고품질 번역을 지원합니다.
• Local Mode: Ollama 프레임워크를 통해 로컬에 설치된 LLM(Gemma, Llama 등)을 사용하여, 오프라인 환경에서도 무료로 번역이 가능하며 데이터 프라이버시를 보장합니다1) 포트폴리오 소개 : 서비스 카테고리(ex. 커머스, AI 등)와 메인 타깃(ex. 주부, 청소년) 등을 포함한 간략한 소개
- 예시 : 주부들을 위한 생활용품 커머스 개발
