플러스프로젝트 배경
기존 gpu 과다 사용에 대한 의문으로, 왜 인간의 뇌는 전력 효율적인데, 현존하는 LLM은 과도한 전기를 먹나 라는 의문에서 출발함, 2015년 경부터 임베디드 뉴로몰픽 칩 ZISC 의 한국 판매 과정에서 폰노이만구조를 탈피하려는 시도에서 비롯됨 10년간 유튜브 및 AI 정부 과제를 하면서, 현존하는 LLM의 MLP가 우리뇌를 모사하는 부분의 차이를 오일러 공식을 보다가 우현히 발견함 그 전에는
프로젝트 성과
AI 모델 중 MLP에 대한 원천 기술 확보( 특허 가출원 )
현존하는 모델이 학습과 추론을 분리해서 서비스함, 이유는 불안정성 때문임.
그러나 로봇, 온디바이스, 등 인터넷이 안되는 환경이나, 잦은 모델 교체가 필요하기 어려운 환경에서 추론중학습이 꼭 필요한 분야 적용
그러나 로봇, 온디바이스, 등 인터넷이 안되는 환경이나, 잦은 모델 교체가 필요하기 어려운 환경에서 추론중학습이 꼭 필요한 분야 적용
핵심 기능
GPU절감과 추론 중 부분학습
MOE와 확실한 차별점이 있는 모델
진행 단계
아이디어 발굴
2024.12.
영감을 떠올림
프로젝트 상세
Dropout is a representative regularization technique that stochastically deactivates hidden units during training to mitigate overfitting. In contrast, standard inference executes the full network with dense computation, so its
