플러스프로젝트 배경
기존의 비정형 데이터 수집 도구들은 대용량 트래픽 처리 시 메모리 누수(Memory Leak)가 발생하거나, 대상 서버의 차단(IP Block)에 취약하여 잦은 다운타임이 발생했습니다. 본 프로젝트는 이러한 한계를 극복하고, 클라우드에 의존하지 않는 로컬(Edge) 환경에서도 24시간 365일 무중단으로 동작하는 '고속 데이터 파이프라인' 및 '시스템 리소스 자율 관제 엔진'을 구축하기 위해 자체 R&D로
프로젝트 성과
시스템 관제 모듈'은 극한의 스트레스 테스트를 통과하며 그 안정성을 입증했습니다
현재 이 코어 엔진은 DURAKI가 글로벌 출시를 준비 중인 시스템 제어 솔루션(DuraSilent)과 차세대 데이터 플랫폼(DuraBuild)의 핵심 백엔드 인프라로 성공적으로 이식되어 운용되고 있습니다.
핵심 기능
비동기 고속 데이터 파이프라인
다중 플랫폼(SNS, 미디어)의 동적 DOM 구조를 분석하고, 멀티스레딩과 Asyncio를 결합하여 병목 없는 고속 데이터 수집을 구현했습니다.
진행 단계
사용중
2026.04.
대규모 데이터 수집 시 발생하는 로컬 PC의 발열과 RAM 과점유 문제를 해결하기 위해, Python의 가비지 컬렉터를 수동 제어하고 OS 스케줄러와 연동하여 유휴 자원만 활용하도록 로직을 전면 재설계했습니다.
프로젝트 상세
[프로젝트 개요] 본인의 작업 효율을 위해 직접 만들었습니다. 대용량 비정형 데이터의 고속 병렬 수집과 로컬 시스템(Edge)의 안정성을 유지하기 위한 자체 R&D 유틸리티 모음입니다. 단순한 기능 구현을 넘어, 장시간 구동에도 메모리 누수와 발열이 발생하지 않는 최적화된 Python 자동화 로직을 설계하고 검증했습니다. 본 프로젝트의 코어 기술들은 현재 당사가 개발 중인 차세대 시스템 솔루션의 기
