입력, 검색, 복사 및 붙여넣기를 반복적으로 수동으로 수행하면 매우 지루한 작업이 될 것입니다. 작은 회사일 경우 인력 부족으로 인해 기계적인 작업이 핵심 업무의 진행에 영향을 미칠 수도 있습니다. 그렇다면 웹 사이트에서 엑셀로 데이터를 자동 추출하고 스크랩하는 방법은 무엇일까요? 아래에 가장 효율적인 3가지 방법을 소개해 드리겠습니다.
방법 1: 웹 스크래핑 도구 사용(노코딩)
웹 스크래핑은 웹 페이지에서 엑셀로 모든 종류의 데이터를 가져올 수 있는 가장 효율적인 방법입니다. Octoparse와 같은 쉬운 웹 스크래핑 도구는 코딩 없이 웹사이트에서 엑셀로 데이터를 수집하는 데 도움을 줄 수 있습니다.
Octoparse는 간단한 웹 스크래퍼로서 AI 기반의 자동 인식 기능을 사용하여 자동으로 데이터를 추출합니다. 데이터가 인식된 후 확인하고 수정하기만 하면 됩니다. 또한 네이버 지도, 쿠팡, 네이버 쇼핑, 카카오맵, 잡코리아, 네이버 부동산 등과 같은 인기 사이트에서 미리 바로 쓸 수 있는 템플릿을 사용하여 몇 번의 클릭으로 웹 페이지 데이터를 수집할 수 있습니다. 또한 Octoparse는 API 액세스, IP 전환, 클라우드 서비스, 예약 실행 등 고급 기능을 갖추고 있어 데이터 수집을 간편하게 할 수 있습니다.
Octoparse를 사용하여 모든 웹 사이트의 데이터를 Excel로 추출하는 간단한 절차를 아래에서 살펴보겠습니다.
웹 사이트에서 엑셀로 데이터를 가져오는 3단계
1단계: 대상 웹사이트 URL을 붙여넣고 자동 인식을 시작합니다.
Octoparse를 다운로드하고 디바이스에 설치한 후 데이터를 가져오고 싶은 웹 사이트 링크를 붙여넣으면 Octoparse가 자동 인식을 시작합니다.
2단계: 수집된 데이터 필드를 커스텀합니다.
자동 인식 후 워크플로우가 생성됩니다. 필요에 따라 데이터 필드를 쉽게 편집할 수 있습니다. 상황에 따라 팁 패널에서 제공하는 힌트를 따를 수도 있습니다.
3단계: 스크랩된 웹사이트 데이터를 Excel로 다운로드합니다.
모든 데이터 필드를 확인한 후 작업을 실행합니다. 스크랩된 데이터를 Excel/CSV 형식으로 빠르게 로컬 디바이스로 다운로드하거나 데이터베이스에 저장할 수 있습니다.
웹 스크래핑 프로젝트 고객서비스
복사 및 붙이기 같은 작은 일에 시간을 낭비하기보다 핵심 비즈니스에 집중하고 싶다면 전문 경험과 지식을 갖춘 웹 스크래핑 팀에 이런 작업을 아웃소싱하는 것이 좋은 방법일 수 있습니다. 데이터 스크래핑은 안티 스크래핑 봇이 있으면 웹 스크래핑 행위가 제한되기 때문에 초보자나 전문 IT 인력 없이 웹사이트에서 데이터를 스크래핑하는 것이 어렵습니다. 전문 웹 스크래핑 팀은 웹 사이트에서 데이터를 효율적으로 수집하고 구조화된 데이터를 엑셀 시트 또는 필요한 기타 형식으로 내보내는 서비스를 제공해 줄 수 있습니다.
방법 2: Excel 웹 쿼리 사용
복사 및 붙여넣기를 통해 수동으로 웹 페이지의 데이터를 변환하는 것을 제외하고 Excel Web Query는 표준 웹 페이지의 데이터를 Excel 워크시트로 빠르게 가져오는 데 사용됩니다. 웹 페이지의 HTML에 내장된 테이블을 자동으로 감지할 수 있습니다. 엑셀 웹 쿼리는 표준 ODBC(Open Database Connectivity) 연결 생성이나 유지보수가 어려운 상황에서도 사용될 수 있습니다. Excel 웹 쿼리를 사용하여 모든 웹 사이트에서 테이블을 직접 긁어낼 수 있습니다.
엑셀 웹 쿼리로 웹사이트 데이터를 추출하는 6단계
1단계: 데이터로 이동 > 외부 데이터 가져오기 > 웹에서.
2단계: “새 웹 쿼리”라는 브라우저 창이 나타납니다.
3단계: 주소창에 웹 주소(URL)를 입력합니다.
4단계: 페이지가 로드되고 데이터/테이블이 노란색 아이콘으로 표시됩니다.
5단계: 원하는 구역을 선택합니다.
6단계: Import 버튼을 누릅니다.
이제 원하는 행과 열로 완벽하게 배열된 Excel 워크시트에 웹 데이터를 스크랩할 수 있습니다. 방법은 다음 링크에서 확인하실 수 있습니다.
방법 3: Excel VBA로 웹 데이터 스크랩
대부분의 사용자는 Excel의 공식(예: =avg(…), =sum(…), =if(…) 등)을 많이 사용하지만 내장 언어인 VBA(Visual Basic for Application)에는 덜 익숙합니다. 일반적으로 “Macros”로 알려져 있으며 이러한 Excel 파일은 **.xlsm으로 저장됩니다. 사용하기 전에 리본에서 Developer 탭을 먼저 활성화해야 합니다(File -> Customized Ribbon -> Developer 탭 확인). 그런 다음 레이아웃을 설정합니다. 이 개발자 인터페이스에서는 다양한 이벤트에 첨부된 VBA 코드를 작성할 수 있습니다.
다만 Excel VBA를 사용하는 것은 일반인들에게 기술적인 벽이 있을 것입니다. 프로그래머가 아닌 사람들에게는 그다지 추천하지 않습니다.
마무리
이제 모든 웹 사이트에서 Excel로 데이터를 가져오는 세 가지 방법을 배웠습니다. 상황에 따라 가장 적합한 것을 선택하면 도움이 되겠죠. 하지만 코딩 기초가 없거나 빠른 시간내에 결과물을 내고 싶다면 Octoparse를 이용해 보시는 것도 좋은 선택입니다.
