📌 AI는 웹 페이지 목록에서 어떻게 사용자 지정 필드를 추출할 수 있나요?
이 템플릿은 제공된 각 공개 페이지 URL에서 사용자가 요청한 구조화된 필드를 수집합니다. 코드 없이 데이터를 사용하는 사용자, 연구팀, 데이터 운영팀에 유용합니다.
데이터는 사용자가 제공한 공개 웹 페이지에서 수집됩니다. 이 템플릿은 특정 소스 웹사이트에 종속되지 않습니다. 작업에 제공된 공개 페이지 URL에서 사용자가 요청한 필드를 추출합니다.
💰 가격
이 템플릿은 라인당 사용료가 없습니다. 기본 프록시는 무료입니다. 고급 프록시는 URL당 $0.04가 추가됩니다. 자동 모드는 먼저 기본 프록시를 시도하고 기본 프록시가 실패하면 자동으로 고급 프록시로 전환하며, 이 전환 시 고급 프록시 요금이 추가될 수 있습니다.
📦 출력
출력 필드는 사용자의 추출 지침에 따라 정의되므로 이 템플릿에는 고정된 출력 필드 스키마가 없습니다.
{}
🎯 사용 사례
- 해당 필드가 명시적으로 요청되었을 때 제목 및 가격과 같은 제품 속성을 추출합니다.
- 공유된 필드 사양을 사용하여 이질적인 페이지 레이아웃에서 기사 또는 목록 속성을 수집합니다.
- 사이트별 스크레이퍼를 구축하기 전에 구조화된 데이터셋의 프로토타입을 만듭니다.
- 선택한 프록시 또는 제공된 쿠키가 필요한 페이지를 해당 설정이 제공되었을 때 처리합니다.
🐙 Octoparse를 사용해야 하는 이유
- 즉시 사용 가능한 워크플로우: 사용자가 제공한 공개 웹 페이지에 대한 추출 단계가 이미 구성되어 있으므로 스크레이퍼를 처음부터 구축할 필요가 없습니다.
- 유연한 실행: 수집을 위해 로컬 컴퓨터를 온라인 상태로 유지할 필요 없이 클라우드에서 준비된 작업을 실행합니다.
- 구조화되고 반복 가능한 출력: 결과는 일관된 행으로 반환되어 수동으로 복사한 페이지보다 비교, 필터링, 중복 제거 및 처리가 더 쉽습니다.
- 검증된 입력 가드레일: 양식은 이 템플릿에 대해 구성된 현재 입력, 선택 가능한 값 및 의미 있는 제한을 표시합니다.
- 실용적인 데이터 핸드오프: Octoparse에서 결과를 검토하고 Octoparse 환경에서 지원하는 옵션을 사용하여 내보내거나 처리합니다.
📝 입력
다음 필드를 완료하세요:
- 대상 URL (필수) — 처리할 공개 페이지 URL을 입력하세요. 과도한 크레딧 사용을 피하기 위해 10개 이하의 URL로 시작하는 것을 권장합니다. 실행당 최대 10,000개 항목.
- 추출할 필드 (필수)
- 프록시 (필수) — 무료 처리를 위해 기본 프록시를 선택하거나, URL당 $0.04가 추가되는 고급 프록시를 선택하거나, 또는 먼저 기본 프록시를 시도하고 실패 시 자동으로 고급 프록시로 전환하는 자동 모드를 선택하세요. 사용 가능한 옵션: 기본 프록시 - 무료, 고급 프록시 - URL당 $0.04 추가, 자동 - 먼저 기본 프록시를 시도하고 실패 시 고급으로 전환.
- 쿠키 (선택) — 로그인이 필요한 페이지의 쿠키를 선택적으로 붙여넣으세요. 각 작업에서는 하나의 웹사이트에서 가져온 쿠키만 사용하세요.
🚀 사용 방법
- 템플릿을 열고 사용해보기 또는 시작을 선택합니다.
- 위에 나열된 입력 필드를 완료합니다.
- 지원되는 클라우드 실행 모드를 사용하여 작업을 시작합니다.
- 출력된 행을 검토하고 구조화된 데이터를 내보내거나 처리합니다.
⚠️ 제한 사항
결과는 실행 시 소스 사이트가 노출하는 내용에 따라 달라집니다. 소스 페이지가 해당 값을 제공하지 않으면 나열된 출력 필드가 비어 있을 수 있습니다. 위에 표시된 입력 제한은 템플릿에 의해 적용됩니다.
💡 팁
대규모 배치를 시작하기 전에 구체적이고 유효한 입력을 사용하고 대표적인 결과를 검토하세요. 반복되는 레코드가 필요하지 않은 경우 중복 입력을 제거하세요.
❓ 자주 묻는 질문
Octoparse는 사용자가 제공한 공개 웹 페이지에서 어떻게 데이터를 수집하나요?
Python 자동화는 각 대상 URL의 유효성을 검사하고, 사용자 정의 필드 사양 및 선택된 프록시 또는 쿠키 설정과 함께 페이지를 AI 추출 서비스에 제출하고, 결과를 기다린 다음 동적으로 구성된 레코드를 반환합니다.
이 AI 스크레이퍼에는 어떤 입력이 필요한가요?
입력 섹션에 표시된 필드와 허용되는 값을 사용하세요. 사용자와 관련된 제한 및 선택 가능한 옵션만 나열됩니다.
사용자가 제공한 공개 웹 페이지에서 어떤 데이터를 추출할 수 있나요?
현재 출력 필드와 대표적인 JSON 샘플 데이터가 출력 섹션에 나열되어 있습니다. 소스 페이지에 값이 표시되지 않으면 필드 가용성이 달라질 수 있습니다.
이 AI 스크레이퍼는 무료로 사용할 수 있나요?
라인당 사용료는 없습니다. 기본 프록시는 무료이며, 고급 프록시는 URL당 $0.04의 추가 비용이 발생합니다. 자동 모드에서는 템플릿이 먼저 기본 프록시를 시도하고, 기본 프록시가 실패할 경우에만 고급 프록시로 전환합니다.
사용자가 제공한 공개 웹 페이지의 일부 필드가 비어 있을 수 있는 이유는 무엇인가요?
소스 페이지가 모든 레코드에 대해 모든 값을 항상 노출하는 것은 아니며, 레이아웃은 항목, 시장 또는 현재 사이트 응답에 따라 다를 수 있습니다. 템플릿은 현재 페이지가 필드를 제공할 때 해당 필드를 반환합니다.
수집된 사용자 제공 공개 웹 페이지 데이터를 내보낼 수 있나요?
Octoparse에서 구조화된 행을 검토하고 Octoparse 환경에서 지원하는 옵션을 사용하여 내보내거나 처리할 수 있습니다.
🔗 관련 템플릿
- AI 크롤링 — 시작 웹사이트에서 페이지를 먼저 발견해야 할 때 크롤링 워크플로우를 사용하세요.
- 범용 콘텐츠 스크레이퍼 — 웹사이트 전반에 걸쳐 구조화된 추출을 위해 고정된 콘텐츠 크롤링 워크플로우를 사용하세요.
- Google 검색 스크레이퍼 — 사용자 지정 추출을 위한 대상 페이지로 Google 검색 결과 URL을 사용하세요.