플러스프로젝트 배경
1) 문제점 - 매일 사람이 나라장터에서 SW 관련 공고를 직접 확인하는 수작업은 비효율적이고 누락이 생깁니다. - 공식 오픈 API가 첨부파일 원본이나 특정 필터 조건의 데이터를 충분히 제공하지 않습니다. - 브라우저 클라이언트에서만 동작하는 파일 처리 방식 때문에 규격 문서의 자동 다운로드가 어렵습니다. 2) 프로젝트 목표 - 자동화: SW 입찰공고 확인을 사람 개입 없는 매일 자동 배치로 대
프로젝트 성과
무인 자동 수집 파이프라인 구축
Airflow로 매일 새벽 정해진 시각에 자동 실행되며, 등록번호 수집부터 상세정보 추출, 첨부파일 다운로드까지 3단계 배치가 오류 없이 완주해 사람의 개입 없이 입찰공고를 수집합니다.
접근 제한 첨부파일 다운로드 자동화
브라우저 클라이언트에서만 내려받을 수 있던 규격서·제안요청서 등 첨부파일을, 클라이언트 측 동작 로직을 직접 분석해 배치 환경에서 서버가 사람 개입 없이 다운로드하도록 구현했습니다.
증분 수집으로 신규 공고만 처리
당일 등록된 공고의 등록번호를 과거 수집 이력과 대조해 이미 받은 공고는 건너뛰고 매일 새로 등록된 신규 공고만 수집·저장함으로써, 불필요한 재수집 없이 데이터를 효율적으로 축적합니다.
구조화 데이터셋과 원본 백업 산출
공고명·기관·일정·예산 등 여러 메타데이터를 날짜·금액 형식까지 정규화해 CSV로 축적하고, 이후의 재처리와 감사 상황에 대비해 등록번호별 원본 응답 JSON 파일을 함께 백업해 둡니다.
핵심 기능
Airflow 배치 오케스트레이션
세 단계 작업을 Airflow DAG로 순차 실행하도록 묶고, 매일 정해진 시각 자동 실행과 실패 시 재시도, 로그 기록을 적용해 사람의 개입 없이 안정적으로 도는 무인 배치를 구성했습니다.
진행 단계
파이프라인 설계
2026.05.
매일 자동으로 소프트웨어 분야 입찰공고를 수집·축적한다는 목표에 맞춰, 등록번호 수집 → 상세·첨부목록 추출 → 첨부파일 다운로드로 이어지는 전체 3단계 배치 구조를 설계했습니다.
프로젝트 상세
1) 포트폴리오 소개 정부 전자조달 사이트(나라장터)의 소프트웨어(SW/IT) 분야 입찰공고를 매일 자동으로 수집하는 배치 파이프라인입니다. (카테고리: 공공데이터 수집 자동화 · 데이터 엔지니어링 / 메인 타깃: 정부·공공 SW 입찰을 상시 모니터링해야 하는 SI·소프트웨어 개발사, 입찰 인텔리전스 팀) 2) 작업 범위 - 데이터 파이프라인 설계 - Airflow 배치 오케스트레이션 구축 - 수
