안녕하세요.
담당 매니저 김수민입니다.
기간제(상주) 프로젝트 희망 근무 시작일을
등록해 주시면, 파트너님의 일정에 맞는
적합한 프로젝트를 추천해 드려요.
플러스
LLM 기반 테스트 코드 생성을 통한 퍼징 테스트 자동화 솔루션 개발
개발
기타
기타(IT 서비스 구축), 기타(AIㆍ머신러닝)
프로젝트 배경
개발이 끝난 프로그램은 작은 입력 처리 실수 하나로도 보안 취약점이 생길 수 있어서 테스트가 중요하다.
하지만 현실에서는 개발자가 “생각나는 입력 몇 개”만 넣어보는 경우가 많고, 그래서 버그를 놓치기 쉽다.
퍼징(Fuzzing)은 많은 양의 무작위 값을 자동으로 넣어 크래시가 발생하는 지점을 찾아내는 방법으로 효과적이지만 준비 과정(환경 구축, 테스트 코드 작성)과 결과 해석(재현/원인 분류)이 어렵다는 단점이 존재한다.
최근 LLM을 활용해 퍼징을 자동화하려는 도구들이 나왔지만, 사전 준비 과정 및 테스트 결과물을 보았을 때 여전히 개발자 친화적이지 않다는 것과 외부 LLM 사용으로 인해 기업 입장에서는 코드 유출 우려가 있을 것이라고 보았다.
따라서 Docker 기반 On-premise 환경에서 내부 LLM으로 퍼징을 자동화하고, 웹 UI로 실행·결과 리포트까지 한 번에 제공하여 개발자 친화적인 솔루션을 만들고자 하였다.
프로젝트 성과
GPT 대비 약 50% ~ 80% 정도의 성능 달성
LLM인 GPT 4o 모델을 기준으로 진행
소형 LLM인 phi3 3B 모델을 파인튜닝하여 4가지 취약한 버전의 오픈소스로 테스트 진행
GPT 대비 약 1.7배 생성시간 단축
LLM인 GPT 4o 모델을 기준으로 진행
소형 LLM인 phi3 3B 모델을 파인튜닝하여 4가지 취약한 버전의 오픈소스로 테스트 진행
GPT 4o는 개당 약 12초, phi3 3b는 개당 약 8초 정도로 단축
홍익대학교 AI 창업 공모전 장려상 수상
2024. 11. 16. 홍익대학교 주관으로 진행된 AI 창업 공모전에서 장려상 수상
한양대학교 ERICA SW 창업 아이디어톤 장려상 수상
2024. 11. 30. 한양대학교 ERICA SW 창업 아이디어톤 장려상 수상
한국정보과학회 논문 투고
2024. 10. 30. 한국정보과학회 논문 투고
핵심 기능
퍼징 과정 자동화
퍼징 대상 코드, 실행에 필요한 Dockerfile 및 라이브러리 업로드 시 자동으로 컨테이너를 구축하여 빌드 후 테스트 진행
테스트 결과(에러, 테스트 코드, 코드 커버리지, 피드백) 보고서 작성하여 제공
진행 단계
선행 연구 분석 및 1차 프로토타입 개발
2024.09.
퍼징 기법에 대한 학습, 오픈소스 AI 퍼징 도구인 PromptFuzz에 대한 소스 분석, 논문 리뷰, 프로토타입 설계 및 개발, 데이터셋 마련, 모델 지정 및 학습
논문 투고, 2차 프로토타입 개발
2024.10.
논문 작성 후 논문 투고, LLM 학습 성능평가, 입출력 자동화 구현
통합 및 테스트, 공모전 참여
2024.11.
입출력 고도화 및 통합, 테스트, 공모전 참여
소형 LLM 통합 및 테스트, 학술대회 참여, 최종 결과 발표
2024.12.
성능 평가가 완료된 소형 LLM을 API 서버로 구축하여 퍼저와 통합 및 테스트, 최종 결과물 산출 및 종합, 학술대회 참여, 최종 프로젝트 결과 발표
프로젝트 상세
Fuzzing 테스트는 높은 효율성과 낮은 오탐률로 널리 사용되지만, 테스트 코드 작성 시간과 결과 해석의 어려움이 단점이다.

구글과 텐센트는 이를 보완하기 위해 각각 OSS-Fuzz-Gen과 Prompt-fuzz를 공개했으나, 외부 LLM 사용으로 인한 소스코드 유출 위험과 높은 진입 장벽이 문제다.

이를 해결하기 위해, Docker 기반 On-premise 환경과 파인튜닝된 내부 LLM을 활용해 소스코드 유출 위험 없이 개발자 친화적으로 Fuzzing 테스트를 자동화하는 솔루션을 제안한다.

사용자는 테스트할 대상의 소스코드, 실행에 필요한 Dockerfile 및 라이브러리를 업로드하면 자동으로 컨테이너를 구성하여 빌드, 테스트, 결과 보고까지 제공하여 개발자는 편리하게 보안 테스트와 피드백을 받아볼 수 있다.

비슷한 프로젝트를 준비 중이라면?
위시켓 매니저와 상담하세요.

참여 개발사와 미팅 연결

프로젝트 1:1 컨설팅 제공

무료로 프로젝트 등록하기

작업한 파트너 프로필 보기

ka******
개발 · 팀

프로젝트 정보

참여 기간
2024.08. ~ 2024.12.
참여율
참여율이 100%인 프로젝트는 해당 파트너님이 온전히 작업한 결과물입니다.
외부 공동 작업의 경우 기여도에 따라 참여율이 달라지며 역할, 프로젝트 설명을 통해 업무 분야 및 참여 범위를 확인할 수 있습니다.
30%
고객사
KITRI
역할
개발
관련 기술
Figma
Docker
fastapi
React
sllm
Python