안녕하세요, 여러분!
오늘은 부동산 중개인이나 부동산 거래에 관심이 있는 분들을 위해
네이버 부동산에서 매물 정보 크롤링하는 초간단 방법을 소개해 드리려고 합니다.
코딩 없이 무료로 할 수 있는 방법이니 함께 봅시다!
https://www.octoparse.kr/template/naver-land-real-estate-scraper
네이버 부동산 크롤링 5분컷 방법
1. Octoparse 클라이언트 열기
이 방법은 Octoparse 웹 크롤러를 사용합니다.
Octoparse 웹 사이트에서 다운로드 한 후 무료 버전으로 사용할 수 있지만 이번 블로그는 정말 머리를 쓸 일이 없을 만큼 간단한 방법을 추구하기에 14일 프리미엄 플랜 무료 체험을 신청하고 Octoparse에서 제공하는 한국 전용 무료 템플릿을 마구마구 쓰실 수 있습니다. 무료 체험이 끝난 후 템플릿을 계속 사용하실 계획이 아니시라면 무료 체험이 만료되기 전에 구독을 취소해 주셔야 비용이 계속 청구되지 않습니다.
2. 크롤러 템플릿 선택하기
Octoparse 클라이언트를 열면 아래와 같은 화면이 나타나는데요.
템플릿을 사용하시려면 빨간 네모로 표시된 부분 중 하나를 클릭하시면 템플릿으로 이동하실 수 있습니다.
맨 위에 카테고리를 보시다시피 각 업종의 템플릿을 제공하고 있습니다.
마케터분들을 위한 경쟁사 상품 분석부터 부동산 중개인을 위한 부동산 매물 정보분석, 큐레이터나 뉴스 종사자들을 위한 소셜 미디어 동향 분석까지 7개국 언어 유저들을 위한 다양한 언어로 된 크롤러 템플릿을 제공하고 있습니다.
우리는 네이버 부동산 데이터를 수집해야 하니 템플릿 검색창에 네이버(네이버 부동산)를 검색해 보겠습니다.
네이버 부동산 매물 정보를 수집하기 위해 네이버 부동산 템플릿을 클릭하겠습니다.
Octoparse는 네이버에 관한 다양한 크롤러 템플릿을 제공하고 있습니다. 장소 정보가 필요한 분들은 네이버 지도, 마케터나 영업회사는 네이버 쇼핑, 여론조사나 언론 모니터링이 필요하신 분들은 네이버 뉴스, 교수님이나 연구자 및 대학생분들은 네이버 학술 템플릿을 사용하여 코딩 없이 간단하게 데이터를 추출하실 수 있습니다.
또한 마케터 분들을 위한 네이버 블로그나 네이버 카페 크롤링 템플릿도 제공하고 있어요.
3. 템플릿 파라미터 입력하기
제가 네이버 부동산에서 수집하고 싶은 부동산 정보는 휘경베스트빌현대인데요. 아파트에서 거래되고 있는 모든 매물과 그 매물을 클릭했을 때 볼 수 있는 상세 정보까지 크롤링하려고 합니다.
예시 URL:https://new.land.naver.com/complexes/3000?ms=37.5920333,127.0918613,15&a=APT:PRE:ABYG&b=B2:B1:A1&e=RETAIL&articleNo=2356342090
데이터 예시를 보시다시피 추출할 부동산 매물 데이터가 있는 네이버 부동산 웹 페이지의 URL만 입력하면 Octoparse가 알아서 데이터를 가져옵니다.
본 URL을 입력하고 하단의 시작 버튼을 클릭해 줍니다.
4. 크롤링 작업 실행 및 데이터 다운로드
다음은 데이터 추출 작업 실행 방식을 선택해야 합니다. 좌우 옵션의 차이는 로컬과 클라우드의 차이입니다. 즉 컴퓨터를 끄고도 작업이 돌아갈 수 있냐 없냐 차이입니다. 보통 데이터 수집 자동화를 목적으로 하는 대기업 프로젝트는 클라우드 실행 방식을 많이 사용합니다.
예시에서는 로컬 디바이스 실행-내장 브라우저 모드를 이용하여 네이버 부동산 크롤링을 시작하겠습니다.
로컬 디바이스 실행으로 데이터를 추출하는 좋은점은 우측 상단의 브라우저 보기를 클릭하면 실시간으로 크롤링 작업 진행 상태를 확인할 수 있고 로그인 또는 캡챠 인증이 떠도 수동으로 해결할 수 있기에 크롤링을 처음 입문하시는 분들에게 적합한 도구입니다.
이벤트 로그에서는 실행 과정에서 어떤 오류가 생겼는지 모두 확인할 수 있기에 빠른 트러블 슈팅에도 제격입니다.
네이버 부동산 크롤링 작업 실행이 다 끝나면 위와 같은 화면이 나타납니다. 내보내기 버튼을 누르고 원하는 내보내기 양식(엑셀, CSV, JSON, 데이터베이스, 구글 시트)을 선택하면 데이터를 받을 수 있습니다.
마무리
상기와 같이 네이버 부동산에 있던 휘경베스트빌현대 매물 57건 모두 크롤링되었습니다. 데이터 공백이나 중복이 적고 월세, 전세, 매물 모두 크롤링되었습니다. 코드 한 줄 쓰지 않고도 이 정도 퀄리티의 데이터를 손쉽게 가져올 수 있습니다. 전문 부동산 중개 회사의 경우 프리미엄 버전을 구독하여 클라우드 모드로 템플릿을 돌리면 야근 없이 컴퓨터를 끈 채로 24시간 동안 데이터를 무제한으로 얻을 수 있습니다.
이 밖에도 템플릿 화면에서 언어 필터를 통해 전세계 인기 웹사이트 템플릿을 마음대로 사용할 수 있습니다.
네이버 부동산 템플릿 뿐만 아니라 제공 중인 공공 템플릿은 언제든 무료로 유지보수를 제공하고 있기에 프리미엄 플랜 유저는 수백개의 전세계 웹사이트 크롤링 템플릿을 대부분 무료로 사용할 수 있습니다.
- 전자상거래 및 리테일 플랫폼: 쿠팡, 네이버 쇼핑, 11번가, 지마켓, 무신사 등
- 지도/연락처: 네이버 지도, 카카오맵, 구글맵 등
- 여행 숙박 항공: 부킹닷컴, 아고다, 여기어때 등
- 부동산: 네이버 부동산 등
- 인사채용: 잡코리아, 링크드인 등
- SNS:유튜브, 디시인사이드, 루리웹, 네이버 블로그, 네이버 카페, 트위터(X) 등
- 학술정보: 네이버 학술, 구글 아카데믹
- 기타:구글 플레이
