플러스프로젝트 배경
1) 프로젝트가 해결하고자 한 문제점 - LLM 기반 서비스 확산으로 AI 응답 품질 관리의 중요성이 증가하였으나, 체계적인 품질 관리 체계가 부재. - 단발성 평가 및 수작업 중심의 AI 검증 방식으로 인해 반복적이고 일관된 성능 개선이 어려움. - 운영 중 발생하는 사용자 피드백과 평가 결과가 비체계적으로 관리되어 AI 개선에 효과적으로 반영되지 못함. 2) 프로젝트 목표 - 사
프로젝트 성과
AI Flywheel 기반의 체계적 품질 관리 체계 구축
- 통합 운영: FeedbackOps + EvalOps 결합
- 자동화: '피드백~개선' 전 과정의 선순환 구조 구현
- 체계화: 수작업 검증을 자동화된 평가 파이프 라인으로 혁신
- 자동화: '피드백~개선' 전 과정의 선순환 구조 구현
- 체계화: 수작업 검증을 자동화된 평가 파이프 라인으로 혁신
실시간 대시 보드 기반의 체계적 품질 관리 체계 구축
- 실시간 모니터링: 대시 보드 구축으로 모델 성능 추이를 파악하고 의사 결정 속도를 높임.
- 품질 정량화: 객관적 지표 수립을 통해 일관성 있는 품질 관리 기준을 마련.
- 품질 정량화: 객관적 지표 수립을 통해 일관성 있는 품질 관리 기준을 마련.
확장 가능한 비동기 처리 아키텍처 구현
- 데이터 확장성: Kafka 비동기 메시징으로 대용량 데이터를 안정적으로 처리.
- 서비스 연속성: 환경 분리 및 무중단 배포로 중단 없는 운영 환경을 구축.
- 서비스 연속성: 환경 분리 및 무중단 배포로 중단 없는 운영 환경을 구축.
핵심 기능
FeedbackOps(사용자 피드백 관리)
- AI 응답 결과에 대한 사용자 피드백을 체계적으로 수집하는 인터페이스 구현
- 정성/정량 피드백을 자동 분류하여 관리하고, 피드백 이력을 조회·분석할 수 있는 기능 제공
- 정성/정량 피드백을 자동 분류하여 관리하고, 피드백 이력을 조회·분석할 수 있는 기능 제공
진행 단계
기획 및 요구 사항 정의
2025.02.
- AI Flywheel 운영 모델 분석 및 FeedbackOps / EvalOps 프로세스 설계
- 시스템 아키텍처 설계 및 기술 스택 선정
- UI/UX 와이어프레임 및 대시 보드 화면 기획
- 시스템 아키텍처 설계 및 기술 스택 선정
- UI/UX 와이어프레임 및 대시 보드 화면 기획
프로젝트 상세
1) 프로젝트 개요 - AI 모델의 응답 품질을 지속적으로 개선하기 위해 사용자 피드백과 평가 데이터를 체계적으로 수집·분석하고, 이를 다시 AI 개선에 반영하는 AI Flywheel 운영 플랫폼을 구축하는 프로젝트 - FeedbackOps와 EvalOps를 중심으로 AI 성능 평가, 피드백 관리, 실험 결과 분석을 통합 관리할 수 있도록 설계 2) 작업 범위 및 지원 환경
