안녕하세요! 온라인 비즈니스를 운영하시거나 시장 트렌드 분석에 관심이 많으신 분이라면, 방대한 양의 쇼핑몰 상품 데이터를 수집하는 일의 중요성을 잘 알고 계실 겁니다. 경쟁사 상품 가격을 모니터링하고, 인기 상품의 재고를 파악하며, 시장 동향을 분석하는 일은 비즈니스 성패를 좌우하는 핵심 요소입니다.
하지만 이러한 데이터를 수동으로 하나하나 복사하고 붙여 넣는 작업은 시간과 노력을 엄청나게 소모하는 비효율적인 일입니다. 복잡한 웹페이지 구조와 끊임없이 변하는 레이아웃 때문에 많은 분들이 데이터 수집의 어려움을 겪고 계실 텐데요.
이번 블로그 포스팅에서는 옥토파스를 활용하여 쇼핑몰 상품 데이터를 스크래핑하는 방법을 단계별로 상세하게 알려 드릴 예정입니다. 처음 접하시는 분들도 쉽게 따라 할 수 있도록 스크린샷과 함께 친절하게 설명해 드릴 테니, 놓치지 마세요.
온라인 스토어 상품 목록 데이터를 추출하는 방법
Step1:옥토파스(Octoparse) 다운로드 및 설치
옥토파스는 직관적인 인터페이스와 다양한 기능을 통해 웹 스크래핑 작업을 단순화시켜 줍니다. 복잡한 코딩 없이, 클릭 몇 번만으로 원하는 쇼핑몰의 상품명, 가격, 이미지 URL, 상세 설명 등 모든 정보를 손쉽게 추출할 수 있습니다. 수십, 수백 개의 상품 페이지를 일일이 방문할 필요 없이, 옥토파스가 자동으로 웹을 탐색하고 데이터를 구조화된 형태로 정리해 줍니다. 엑셀, CSV, JSON 등 다양한 형식으로 추출된 데이터를 즉시 다운로드하여 분석에 활용할 수 있습니다.
옥토파스를 사용하려면 먼저 다운로드와 회원가입을 완료하셔야 합니다.
웹 사이트 데이터를 바로 구조화된 엑셀, CSV, Google Sheets, 데이터베이스로 내보낼 수 있습니다.
자동 인식 기능으로 코딩 없이 간단하게 데이터를 스크래핑할 수 있습니다.
수백 개의 국내외 인기 웹 사이트 스크래핑 템플릿으로 간단하게 데이터를 추출할 수 있습니다.
IP 프록시와 고급 API 기능으로 어떤 웹 사이트나 막힘없이 스크래핑할 수 있습니다.
당신이 원하면 언제든 클라우드 서비스로 데이터 스크래핑을 예약할 수 있습니다.
Step2:로그인 후 웹 페이지 URL 입력
Octoparse 로그인 후 홈 화면 입력창에 추출할 상품 데이터가 있는 웹 페이지 URL을 입력하고 시작 버튼을 클릭합니다.
예시 URL:https://www.illiyoon.com/category/BEST/25/
Step3:자동 인식 시작&워크플로우 제작
시작 버튼을 클릭하고 잠시 기다리면 Octoparse 내장 브라우저에서 입력한 웹 페이지가 자동으로 로딩됩니다.
예시 웹 페이지로 사용한 일리윤의 경우 팝업창부터 뜨는데요. 상품 목록 데이터를 추출하기 위하여 팝업창부터 닫아야 하죠.
먼저 ‘다음에 볼게요’를 클릭하면 이 부분이 연두색으로 하이라이트 표시되는것을 확인할 수 있습니다. 제대로 선택되었다는 의미입니다.
다음 팁 패널의 요소 클릭하기를 클릭하면 웹 크롤러가 알아서 자동으로 ‘다음에 볼게요’를 클릭합니다.
팝업창이 사라진 후 본격적으로 작업 세팅을 시작할 수 있습니다. 이때 팁 패널의 웹 페이지 데이터 자동 인식을 클릭하면 Octoparse가 자동으로 해당 페이지에서 추출할 데이터를 스캔하고 예상 결과를 출력합니다.
진도가 100%가 될때까지 기다립니다.
데이터 필드 자동 인식이 끝나면 일리윤 랭킹 웹 페이지에서 추출 예상 데이터가 다음처럼 연두색으로 하이라이트 표시됩니다.
먼저 워크플로우 생성하기를 클릭합니다. 워크플로우 생성 후 추가로 추출할 데이터 필드를 추출하거나 삭제 또는 편집할수 있습니다.
Step4: 추출할 데이터 필드 설정 및 데이터 추출 작업 실행
왼쪽 하단의 데이터 미리보기 섹터에서 데이터 필드를 하나 하나 확인할 수 있습니다.
데이터 필드 삭제, 추가는 물론 일부 데이터 필드에 대해 간단한 편집 작업(엑셀과 비슷)도 진행할 수 있습니다.
중복 데이터가 많은 경우 중복 제거 기능을 사용하여 처음부터 중복되지 않은 데이터만 엑셀 또는 데이터베이스로 내보낼 수 있어 후기 데이터 정제 작업량을 효과적으로 줄일 수 있습니다.
또한 필요에 따라 페이지 레벨 데이터 또는 추출 당시 시간을 추가하여 추출한 데이터를 효과적으로 관리할 수 있습니다.
초보적으로 추출된 데이터 중에서 WISH열과 여러 이미지 열과 같은 분석 가치가 없는 데이터 필드는 필드 이름 오른쪽의 더보기 점 3개를 클릭 후 필드 삭제하기를 클릭하여 필드를 제거해 줍니다.
자동으로 생성된 필드 이름이 이상할 수 있습니다.
필드 이름을 더블 클릭 후 원하는 필드 이름으로 변경할 수 있습니다.
자동 인식으로 일부 데이터가 추출되지 않았을 때 수동으로 일부 데이터 필드를 추가할 수 있습니다.
이 예시에서는 현재가, 원가, 최대혜택가 같은 경우 자동 인식에서 누락되었죠.
현재가의 경우, 먼저 현재가 두개를 클릭해줍니다. 두개를 클릭했을 때 나머지 다른 상품의 현재가도 같이 연두색으로 하이라이트 표시되는 것을 발견할 수 있습니다. 비슷한 요소가 자동 인식되어 일괄로 선택되었다는 뜻입니다.
이때 팁 패널에서 텍스트를 클릭하면 현재가 데이터 필드가 성공적으로 추가됩니다. 나머지 원가와 최대혜택가도 같은 방법으로 추가하면 됩니다.
작업 설정 후 문제가 없다면 오른 쪽 상단의 실행 버튼을 클릭하여 데이터 추출 작업을 시작합니다.
실행 버튼 클릭 후 원하는 실행 모드를 선택해 주시면 됩니다.
Step5: 추출한 데이터 내보내기
작업 실행이 완료되면 내보내기 버튼을 클릭하여 원하는 형식으로 데이터를 내보낼 수 있습니다.
저는 간단하게 엑셀로 내보냈는데요. 결과물은 다음과 같습니다.
마무리:
지금까지 옥토파스를 활용한 쇼핑몰 상품 데이터 추출의 중요성과 편리함에 대해 알아보았습니다. 수동으로 데이터를 수집하는 번거로움과 불편함은 이제 과거의 일이 되었습니다. 옥토파스를 사용하면 여러분의 소중한 시간과 노력을 절약하고, 그 에너지를 비즈니스의 성장과 시장 분석에 온전히 집중할 수 있습니다.
시시각각 변하는 온라인 시장에서 한발 앞서 나가고 싶다면, 옥토파스는 더 이상 선택이 아닌 필수 도구입니다. 이 포스팅을 통해 옥토파스의 강력한 기능을 직접 경험해 보시고, 여러분의 비즈니스 경쟁력을 한 단계 더 끌어올리시길 바랍니다. 궁금한 점이 있다면 언제든지 지원팀에 문의해주세요.
감사합니다!
