플러스프로젝트 배경
1) 문제점 - 매일 사람이 나라장터에서 SW 사전규격을 직접 확인하는 수작업은 비효율적이고 누락이 생깁니다. - 정식 입찰공고만 보면 사업을 늦게 인지해 준비 리드타임이 부족합니다. - 공식 오픈 API가 규격서 원본 첨부파일을 충분히 제공하지 않고, 브라우저에서만 동작하는 파일 처리 방식 때문에 자동 다운로드가 어렵습니다. 2) 프로젝트 목표 - 선제 포착: 정식 공고보다 앞선 사전규격 단계에
프로젝트 성과
무인 자동 수집 파이프라인 구축
Airflow로 매일 새벽 정해진 시각에 자동 실행되며, 발주계획의 등록번호 수집부터 사전규격 상세 추출, 규격서 다운로드까지 3단계 배치가 오류 없이 완주해 사람 개입 없이 데이터를 수집합니다.
정식 공고보다 앞선 사전규격 선제 포착
정식 입찰공고보다 앞선 사전규격 단계에서 소프트웨어 사업을 매일 자동으로 포착함으로써, 발주를 조기에 파악하고 규격 의견 개진과 입찰 준비에 필요한 리드타임을 확보할 수 있게 했습니다.
접근 제한 규격서 다운로드 자동화
브라우저 클라이언트에서만 내려받을 수 있던 규격서·제안요청서 등 첨부파일을, 클라이언트 측 동작 로직을 직접 분석해 배치 환경에서 서버가 사람 개입 없이 자동으로 내려받도록 구현했습니다.
증분 수집·구조화 데이터셋 산출
과거 수집 이력과 대조해 매일 새로 공개된 사전규격만 수집하고, 사업명·예산·의견마감일 등 필드를 정규화해 CSV로 축적하며 재처리에 대비한 원본 백업까지 남겨 데이터셋을 만듭니다.
핵심 기능
Airflow 배치 오케스트레이션
세 단계 작업을 Airflow DAG로 순차 실행하도록 묶고, 매일 정해진 시각 자동 실행과 실패 시 재시도, 로그 기록을 적용해 사람의 개입 없이 안정적으로 도는 무인 배치를 구성했습니다.
진행 단계
파이프라인 설계
2026.05.
정식 공고보다 앞서 SW 사전규격을 매일 자동 포착·축적한다는 목표에 맞춰, 발주계획 등록번호 수집 → 사전규격 상세·첨부목록 추출 → 규격서 다운로드로 이어지는 3단계 배치 구조를 설계했습니다.
프로젝트 상세
1) 포트폴리오 소개 나라장터의 소프트웨어(SW) 분야 "사전규격"을 매일 자동 수집하는 배치 파이프라인입니다. 사전규격은 정부·공공기관이 정식 입찰공고를 내기 전에 발주 예정 사업의 기술규격을 공개하고 의견을 수렴하는 공고입니다. (카테고리: 공공데이터 수집 자동화 · 데이터 엔지니어링 / 메인 타깃: 공공 SW 입찰을 준비하는 SI·SW 개발사 — 정식 공고보다 앞서 사업을 포착하고 규격 의견을 낼 수
