더쿠와 디시인사이드는 인기 있는 온라인 커뮤니티이며, 그들의 게시판에는 다양한 주제에 대한 글이 올라옵니다. 그 중 디시인사이드(dcinside)는 자타공인 대한민국 최대의 커뮤니티이자 대표 커뮤니티입니다.
대부분 연예계 뉴스 및 사회 핫이슈도 이런 게시판에서 먼저 거론되고 언론화되기 때문에 브랜드, 연예계 매니저먼트나 정치 단체 등 지속적인 이미지 관리가 필요한 분야에서 게시판 내용을 유용하게 쓸 수 있습니다.
게시판 게시글 모니터링의 중요성
몇 가지 주요한 이유는 다음과 같습니다:
- 트렌드와 인사이트 파악: 더쿠와 디시인사이드는 다양한 주제에 관한 대화와 토론의 장으로 알려져 있습니다. 게시글 내용을 수집하면 사용자들의 관심사와 트렌드를 파악할 수 있습니다. 이는 마케팅 전략을 수립하거나 제품 개발에 도움이 될 수 있습니다.
- 사용자 의견 및 피드백 수집: 게시판은 사용자들이 의견을 나누고 피드백을 주고받는 공간입니다. 게시글 내용을 분석하면 제품, 서비스 또는 브랜드에 대한 사용자의 의견과 피드백을 파악할 수 있습니다. 이는 제품 개선이나 고객 서비스 향상에 도움이 될 수 있습니다.
- 경쟁 업체 분석: 경쟁 업체의 제품 또는 서비스에 대한 정보는 비즈니스 전략 수립에 중요한 역할을 합니다. 더쿠와 디시인사이드 게시글 내용을 수집하면 경쟁 업체의 제품 또는 서비스에 대한 사용자의 의견과 피드백을 파악할 수 있습니다. 이는 경쟁 업체의 강점과 약점을 이해하고 자사의 제품 또는 서비스를 개선하는 데 도움이 될 수 있습니다.
- 커뮤니티 관리 및 모니터링: 더쿠와 디시인사이드 게시판은 커뮤니티의 활동을 모니터링하고 관리하는 데 사용될 수 있습니다. 게시글 내용을 수집하면 커뮤니티의 전반적인 상황을 파악하고, 불법적인 활동이나 규칙 위반 등을 감지하는 데 도움이 될 수 있습니다.
디시인사이드 더쿠 등 메이저 게시판 크롤러 사용하는 방법
step1: 크롤러 템플릿 찾기
octoparse 클라이언트에서 템플릿 파트를 여는 방식은 다음 두 가지입니다.
- 사이드바의 템플릿
- 홈 화면 인기 템플릿의 전체 보기
둘 중 아무거나 하나를 클릭합니다.
다음 필터나 카테고리, 검색창을 이용하여 더쿠 게시물 스크래퍼나 디시인사이드 게시판 스크래퍼를 찾을 수 있습니다.
두 스크래퍼의 사용 방법은 비슷하니 저는 이번 예시에서 디시인사이드 스크래퍼를 사용하겠습니다.
step2: 파라미터 입력하기
디시인사이드 템플릿을 연 후 시작 버튼을 클릭합니다.
이 템플릿은 가져올 게시글이 있는 게시판 페이지의 웹 페이지 URL 링크를 입력하면 크롤러가 알아서 페이지를 넘기면서 데이터를 추출합니다.
이번 예에서는 다음 세 게시판의 URL을 사용하겠습니다.
https://gall.dcinside.com/mgallery/board/lists/?id=bht
https://gall.dcinside.com/mgallery/board/lists/?id=newjeans
https://gall.dcinside.com/mgallery/board/lists/?id=mheejin
*URL 입력 부분에 최대로 20개의 게시판 링크를 입력할 수 있습니다.
step3: 작업 실행하기
링크를 입력한 뒤 시작 버튼을 누르고 원하는 실행 방식을 선택하면 작업이 실행됩니다. 작업 실행 과정에서 실시간으로 추출되는 데이터와 오류 여부 및 소요 시간 등 필요한 정보를 간편하게 모니터링할 수 있습니다.
*프리미엄 유료 버전의 경우 예약 기능으로 원하는 시간에 원하는 게시판의 게시글을 자동으로 가져올 수 있습니다.
아래 캡처는 이번 실행에서 수집된 일부 데이터입니다.
직접 코딩을 배워 크롤러를 작성하지 않고도 많은 상세한 데이터를 효율적으로 가져올 수 있습니다.
https://www.octoparse.kr/template/dcinside-scraper
https://www.octoparse.kr/template/theqoo-scraper
마무리
octoparse는 웹 크롤러 간단 DIY와 웹 크롤러 템플릿 서비스 둘 다 제공하는 데이터 크롤링 솔루션 제공 업체입니다. 한국 웹 사이트 전용 크롤러는 모두 octoparse 클라이언트에서 만나볼 수 있습니다. 최근 일부 템플릿은 클라이언트를 다운받지 않고 웹에서도 데이터를 추출할 수 있도록 지원합니다. 데이터 서비스가 필요한 분들은 언제든 찾아주시기 바랍니다.
