클라우드 웹 스크래핑
클라우드 추출로 웹 데이터 수집을 자동화하세요
클라우드 추출은 Octoparse에서 만든 작업을 로컬 PC가 아닌 Octoparse 클라우드 서버에서 실행하는 방식입니다. 컴퓨터를 켜 두지 않아도 매일의 가격 모니터링이나 여러 사이트의 정기 수집을 운영할 수 있습니다.
클라우드 추출과 예약 실행은 스탠다드 플랜 이상에서 사용할 수 있습니다.
클라우드 작업 실행 흐름
설정 이후의 흐름을 한눈에
예약 설정
매일 09:00에 시작
클라우드 추출
PC 없이 실행
데이터 내보내기
필요한 형식으로 저장·전달
실제 실행 시간과 수집 결과는 대상 사이트의 구조와 응답 상태, 작업 설정에 따라 달라집니다.
클라우드 추출을 선택하는 이유
PC에 묶이지 않는 지속적인 웹 데이터 수집
작업을 Octoparse 클라우드 서버에서 실행하면 로컬 기기의 가동 여부에 좌우되지 않는 수집 체계를 만들 수 있습니다. 예약 실행, 여러 작업의 동시 운영, 완료 후 자동 내보내기까지 하나의 흐름으로 이어집니다.
PC OFF
로컬 기기를 점유하지 않고 실행
클라우드 추출이 진행되는 동안에는 로컬 PC에서 Octoparse를 계속 켜 둘 필요가 없습니다. 장시간 수집에도 담당자의 기기를 다른 업무에 쓸 수 있습니다.
24시간
클라우드에서 작업이 계속 실행
설정한 작업은 PC의 전원 상태나 사내 네트워크와 상관없이 Octoparse 클라우드 환경에서 실행됩니다.
분·시간·일
갱신 주기에 맞춘 예약 실행
분·시간·일·주·월 단위로 일정을 설정해 가격이나 매장 정보 등의 변화를 지속적으로 추적할 수 있습니다.
여러 작업
규모에 맞춰 병렬 운영
플랜에 포함된 실행 한도와 클라우드 서버 수에 맞춰 대상 사이트별 작업을 병렬로 운영할 수 있습니다.
IP 로테이션
하위 작업 단위로 클라우드 IP 전환
클라우드 추출은 로컬 PC의 IP가 아니라 Octoparse 클라우드 IP를 사용합니다. IP는 하위 작업마다 로테이션되고 다음 실행에서는 새 IP가 무작위로 재할당되므로, 로컬 IP에 접속이 집중되어 제한을 받을 위험을 줄일 수 있습니다.
구독에 포함된 클라우드 실행
24시간 × 30일
한 달 내내 클라우드 추출을 운영
스탠다드 플랜 이상에서는 클라우드 추출이 실행 시간이나 수집 건수에 따른 종량 과금이 아니라 월간 또는 연간 구독에 포함된 기능으로 제공됩니다. PC를 켜 두지 않아도 구독 기간 내내 작업을 계속 운영할 수 있습니다.
사용할 수 있는 클라우드 서버 수, 동시 실행 수, 작업 수는 플랜에 따라 다릅니다. 일부 템플릿을 비롯한 특정 서비스는 별도 요금이 적용될 수 있습니다.
클라우드 추출의 구조
설정부터 데이터 활용까지 하나의 흐름으로
작업 만들기, 실행 환경 설정, 클라우드 추출 예약, 데이터 내보내기까지 네 단계로 시작에 필요한 내용을 모두 확인할 수 있습니다.
STEP 01
수집 작업 만들기
수집 항목과 페이지 동작을 직접 설정해 사용자 지정 작업을 만들 수도 있고, 미리 준비된 템플릿에서 시작할 수도 있습니다.
작업을 만드는 두 가지 방법
사용자 지정 작업 만들기
대상 URL을 불러와 클릭, 페이지 넘기기, 로그인, 수집 항목 등을 화면에서 설정합니다. 복잡한 페이지나 특정한 수집 조건에도 대응할 수 있습니다.
템플릿으로 시작하기
대상 사이트에 맞는 템플릿을 고르고 키워드나 지역 같은 파라미터를 입력하면 곧바로 수집을 시작할 수 있습니다.
저장한 작업은 재사용할 수 있으며, 다음 단계에서 클라우드 실행과 정기 예약을 설정합니다.
사용자 지정 작업 
네이버 카페 검색 결과 자동 수집템플릿 
STEP 02
실행 설정
사용자 지정 작업에서는 실행 전에 실행 설정을 열어 내장 브라우저나 클라우드 서버 그룹 등 실행 환경을 조정할 수 있습니다. 대상 사이트에 맞춰 여러 국가·지역의 클라우드 서버 그룹 중에서 실행 환경을 선택할 수 있습니다. 또한 증분 수집을 활성화하면 이미 수집한 URL과 비교해 새로 추가된 페이지만 효율적으로 가져옵니다. 비교 기준은 전체 URL 또는 지정한 URL 파라미터 중에서 선택할 수 있습니다.
- 내장 브라우저와 User-Agent를 작업에 맞게 설정
- 여러 국가·지역의 클라우드 서버 그룹 선택
- 플랜에서 사용할 수 있는 클라우드 서버 수에 따라 작업을 분할해 병렬 실행
- 증분 수집으로 이미 수집한 URL을 제외하고 새 페이지만 효율적으로 수집
실행 설정에서 실행 환경과 증분 수집을 조정 
STEP 03
실행 일정 설정
대상 작업을 선택하고 예약 실행 메뉴에서 클라우드 추출 일정 등록을 선택합니다. 이어서 실행 주기와 시작 시각을 설정하면 등록한 일정에 따라 클라우드에서 자동으로 수집이 실행됩니다.
클라우드 추출 일정 등록 
실행 주기와 시작 시각 설정 
한 번만 클라우드 추출을 실행하려면
일정을 등록하지 않고 그 자리에서 한 번만 실행하려면 작업 실행 시 클라우드 추출을 선택합니다. 수집 처리는 Octoparse 클라우드 서버에서 이뤄지므로 로컬 PC를 오래 점유하지 않고, PC 전원을 꺼도 작업이 계속됩니다.
클라우드 추출을 선택해 실행 
CLI에서 단발 수집도 예약 실행도 가능
Octoparse CLI에서는 명령으로 작업을 한 번만 실행하는 단발 수집은 물론, cron이나 CI/CD, 사내 작업 스케줄러에 연동한 예약 실행도 지원합니다. 실행 시점을 스케줄러에서 관리할 수 있어 담당자가 매번 데스크톱 앱을 열지 않아도 야간 배치나 정기 갱신을 자동화할 수 있습니다.
CLI 자세히 보기STEP 04
저장·연동
수집한 데이터는 Excel, CSV, JSON 등의 파일로 로컬에 바로 내보낼 수 있습니다. 또한 Google Sheets, 각종 데이터베이스, Google Drive, Dropbox, Amazon S3 같은 클라우드 스토리지로도 내보낼 수 있습니다. 실행 일정과 연동되는 자동 내보내기를 설정하면 작업이 끝난 뒤 지정한 대상에 자동으로 저장되어, 데이터를 바로 확인·공유하고 후속 업무에 활용할 수 있습니다.
사용할 수 있는 내보내기 대상과 자동 내보내기 기능은 플랜에 따라 다릅니다.
내보내기 대상과 형식 선택 
실행 완료 후 자동 내보내기설정 화면 보기
실행 일정과 자동 내보내기를 조합하면 정기 수집부터 저장 대상으로의 내보내기까지를 하나의 자동화된 흐름으로 만들 수 있습니다.
자동 내보내기 대상 설정 
저장 대상과 내보내기 형식 지정 
실행 환경 선택 기준
클라우드 추출, 로컬 추출, 자체 구축의 차이
수집 빈도, 유지 보수에 쓸 수 있는 시간, 필요한 확장성에 따라 적합한 방법이 달라집니다. Flask는 Python 처리를 HTTP로 노출하기 위한 기술이며, VPS 같은 실행 기반과 그 유지 보수는 별도로 필요합니다.
| 비교 항목 | Octoparse 클라우드 추출 | Octoparse 로컬 추출 | Python 자체 운영(VPS·Flask 포함) |
|---|---|---|---|
| 적합한 용도 | 정기 모니터링, 여러 작업, PC에 의존하지 않는 지속 운영 | 시험 사용, 소량의 단발 수집, 결과를 바로 확인하고 싶은 경우 | 고유 로직이나 사내 시스템과의 깊은 연동이 필요한 경우 |
| 코딩 | 기본적으로 불필요 | 기본적으로 불필요 | 설계·개발·테스트 필요 |
| 예약 실행 | 지원 플랜에서 일정 설정 가능 | 기기의 가동 상태에 좌우됨 | 작업 관리와 장애 대응을 직접 구축 |
| 운영·유지 보수 | 작업 설정과 실행 결과 확인에 집중하기 쉬움 | 기기, 네트워크, 작업을 직접 확인 | 코드, 서버, 의존성, 모니터링을 직접 유지 보수 |
| 규모 확장 | 플랜의 실행 한도에 맞춰 여러 작업 운영 | 기기 성능과 가동 시간을 고려해야 함 | 서버 증설과 실행 제어 설계가 필요 |
공식 API로 필요한 데이터와 갱신 주기를 충족할 수 있다면 먼저 API 이용 조건을 확인하세요. 고유 처리를 세밀하게 제어하고 싶다면 Python이, 코딩 없이 지속적으로 수집하고 싶다면 Octoparse가 적합합니다.
매장 정보 정기 수집
지역·업종별로 회사명과 매장명, 주소, 전화번호, 영업시간, 카테고리 등을 정기적으로 수집해 신규 개점이나 게재 정보 변경을 지속적으로 파악할 수 있습니다. 영업 리스트 갱신, 출점 조사, 상권 분석 등에도 활용할 수 있습니다.
매장 정보 템플릿 사용하기Amazon 등의 가격·재고 정기 모니터링
Amazon을 비롯한 이커머스 사이트에서 경쟁 상품이나 자사 취급 상품의 가격, 재고, 리뷰 등을 정기적으로 수집해 변화를 파악하고 이력 데이터를 축적할 수 있습니다.
Amazon 스크래퍼 보기안정성과 확장성
장시간·대규모 수집을 클라우드에서 운영
지원 플랜에서는 작업 분할을 통한 병렬 실행과 여러 작업의 동시 운영이 가능합니다. 기기 성능에 처리를 집중시키지 않고 대상 사이트와 갱신 주기별로 실행을 정리할 수 있습니다. 다만 클라우드 환경만으로 수집 성공이 보장되는 것은 아니므로, 실행 결과를 확인할 수 있는 운영 설계도 중요합니다.
지속 운영을 뒷받침하는 네 가지 포인트
- 대상 사이트와 갱신 주기별로 작업을 나눈다
- 장시간 작업은 처리 범위를 분할하고 실행 시간대를 분산한다
- 수집 건수, 누락, 실행 로그를 정기적으로 확인한다
- 실패나 타임아웃을 확인하고 원인을 수정한 뒤 다시 실행한다
웹 스크래핑을 할 때는 대상 사이트의 이용 약관, robots.txt, 개인정보, 저작권, 접속 부하를 확인하세요.
운영 모니터링
API로 모든 작업의 실행 현황을 집계
지원 플랜에서는 Task Performance Analytics API로 작업의 실행 횟수, 성공률, 수집 건수, 리소스 사용량 등을 일·주·월 단위로 가져올 수 있습니다. 모니터링 도구나 정기 리포트에 연동하면 여러 작업의 상태를 지속적으로 확인할 수 있습니다.
성공률이나 수집 건수가 갑자기 떨어졌다면 대상 사이트의 구조나 접근 조건이 바뀌었을 가능성을 확인해 볼 시점입니다. 이상을 감지하면 실행 로그와 수집 결과를 확인하고 필요에 따라 작업을 조정하세요.
작업 분석 API 사양 보기데이터 내보내기와 연동
수집 후 활용 방식에 맞춘 내보내기
직접 분석하기, 팀과 공유하기, 기존 시스템과 연동하기 등 목적에 맞는 방법을 선택할 수 있습니다. 사용할 수 있는 내보내기 대상과 자동화 기능은 플랜에 따라 다릅니다.
Excel·CSV
스프레드시트에서 다루기 쉽고 사내 공유에 적합한 형식으로 내보냅니다.
JSON·XML
데이터 처리나 다른 도구로의 전달에 사용할 수 있는 형식입니다.
Google Sheets
팀에서 확인하고 공유할 수 있는 시트로 연결할 수 있습니다.
API·데이터베이스
지원 플랜에서는 기존 업무 흐름과의 연동도 검토할 수 있습니다.
클라우드 스토리지
Google Drive, Dropbox, Amazon S3 등으로 내보내 공유와 후속 처리에 활용할 수 있습니다.