플러스프로젝트 배경
1) 목표 재사용 가능한 LLM 분산 학습 파이프라인 구축 2) 주안점 아직 학습 생태계가 제대로 구축되지 않은 새로운 아키텍쳐 (Mamba 2 + MoE hybrid) 모델의 GPU 효율적 학습 파이프라인 설계
프로젝트 성과
가지치기 및 양자화로 모델 사이즈 대폭 감소 & AIME 2026 벤치마크 점수 향상
REAP 가지치기로 모델 사이즈 120B -> 64B / 양자화로 VRAM 사용량을 약 1/4 ~ 1/8로 줄임과 동시에 AIME 2026 벤치마크 점수 0.9 -> 0.9167 수학 능력 향상
핵심 기능
학습 파이프라인
GPU 효율적 분산 학습 파이프라인 구축
진행 단계
완료
2026.03.
데이터/모델 선별 -> 데이터 수집/생성/정제 -> 효율적인 학습 방법 연구/개발 -> 학습 -> 테스트 -> 배포
프로젝트 상세
1) 포트폴리오 소개 : - 올해 3월 엔비디아에서 출시한 Nemotron-3-Super-120B-A12B-BF16 모델을 REAP 가지치기 한 후 LoRA 강화학습(GRPO)을 통해 모델 사이즈는 약 반으로 줄이면서도 수학 풀이 능력을 기존 모델보다 향상시킴. - B200 8장으로 약 4일간 학습하였음. - 파인튜닝 후 각종 양자화 적용한 버전들을 포함하여 Hugging Face 배포. - 자세한 사
