logo
KR

겟코에이아이, 유연한 웹 스크래핑으로 AI 활용 역량 교육 지원

AI와 함께 일하며 더 나은 성과를 내야 하는 미래에 대비해야 할 때가 다가오고 있습니다. 겟코에이아이(GetCOAI)가 Octoparse로 AI 도구와 교육 자료를 수집해 이용자의 AI 활용 역량을 높이는 과정을 소개합니다.

5 분 열독

ChatGPT 출시 이후 AI 관련 제품이 쏟아지며 대중의 관심을 끌고 있습니다. 프롬프트를 입력하는 것만으로도 AI가 업무를 대신하는 시대로 접어들면서 업계의 경쟁 방식도 빠르게 달라지고 있습니다. 이제는 누구를 채용하느냐 못지않게, 적합한 AI 도구를 얼마나 빠르게 도입해 효율을 높이고 운영 비용을 줄이느냐가 중요해지고 있습니다.

겟코에이아이의 AI 정보 수집 웹사이트

겟코에이아이(GetCOAI)는 사람들이 AI를 이해하고 활용하는 역량을 기를 수 있도록 돕는 기업입니다. 교육 콘텐츠, 뉴스, 보고서, 튜토리얼을 한곳에 모아 제공하는 웹사이트를 운영합니다. 시장에 나와 있는 다양한 AI 도구를 수집하고 그중 유용한 도구를 선별해, 이용자가 구체적인 목적에 맞춰 최대한 활용하는 방법을 알려 줍니다.

콘텐츠 수집 사이트란?

콘텐츠 수집 사이트(Content Aggregator)는 인터넷의 여러 웹사이트에 있는 콘텐츠를 모아 이용자가 쉽게 찾을 수 있도록 한곳에서 제공하는 사이트입니다.

도입 과제

겟코에이아이의 창업자 셰인(Shane)은 특정 요구에 맞는 AI 도구를 고르는 일이 결혼식에 입을 완벽한 정장을 찾는 것만큼 어렵다고 말합니다. 온라인에는 수백, 수천 개의 AI 도우미가 있기 때문입니다. 겟코에이아이는 AI 도구를 찾는 이용자의 이런 어려움을 해결하고자 합니다. 이를 위해 AI 제품 웹사이트에서 제품 정보를 정기적으로 수집합니다. 특히 온라인 강좌의 가격과 설명을 수집해 무엇을 어떤 방식으로 제공하는지 파악합니다.

하지만 단순해 보이는 데이터 수집도 막상 진행하면 어려운 경우가 많았습니다. 웹사이트 자체가 수집하기 까다로운 데다 구조와 내용도 계속 바뀌고 업데이트됐습니다.

‘다른 도구도 몇 가지 써 봤지만 성과가 좋지 않았습니다. 직접 코드를 작성해서 수집하기도 했는데, 때로는 시간이 끝도 없이 걸렸죠.’

셰인은 인터뷰에서 이렇게 말했습니다.

AI 도구 정보를 모아 제공하는 웹사이트를 구축하려면 데이터 수집이 가장 먼저 해결되어야 했습니다. 하지만 기술적인 문제에 가로막혀 있었습니다. 그러던 중 인터넷을 살펴보다 Octoparse를 알게 됐고, 이를 계기로 문제를 해결할 수 있었습니다.

해결 방법

겟코에이아이의 AI 제품 정보 수집 과제

서로 다른 AI 제품 웹사이트에서 데이터를 효과적으로 수집하려면 각 사이트에 맞는 수집 프로그램이 필요합니다. 이를 직접 만들려면 코드를 작성하고 웹사이트 구조에 맞춰 설정한 뒤 데이터 저장 방식까지 마련해야 합니다. 개발에 많은 시간이 들 뿐 아니라 이후에도 계속 유지보수해야 합니다.

Octoparse는 코딩 없이 클릭으로 작업을 설정할 수 있는 인터페이스를 제공합니다. 자동 감지 기능을 활용하면 웹페이지에서 필요한 HTML 요소를 클릭해 수집 대상을 지정할 수 있습니다. 사이트마다 표, 목록, 블로그 글, 실시간 통계 등 데이터 형태가 달라도 정밀하게 처리하고 수집 워크플로를 자동으로 생성하므로 코드를 한 줄도 작성할 필요가 없습니다. 수집한 데이터는 Excel, CSV, JSON 등으로 내보내거나 데이터베이스에 연결할 수 있습니다. 셰인의 팀처럼 대량의 데이터가 필요한 팀도 기존 사이트뿐 아니라 새로 등장하는 사이트에서 빠르고 간편하게 정보를 수집할 수 있습니다.

또 다른 고민이었던 웹사이트 변경에도 대응할 수 있습니다. 사용자가 워크플로의 규칙 모듈이나 대상 요소의 XPath를 조정해 수집 방식을 직접 바꿀 수 있어 유지보수 부담이 줄어듭니다. 규칙을 변경하거나 설정하는 과정에서 도움이 필요하면 Octoparse 전문가의 지원을 받을 수 있습니다.

Octoparse는 여러 웹사이트의 복잡한 수집 작업을 처리할 수 있는 만큼 처음에는 학습이 필요합니다. 하지만 셰인은 튜토리얼과 전담 지원팀 덕분에 충분히 익힐 수 있었다고 말합니다. 매개변수를 올바르게 설정한 뒤에는 반복해서 재사용할 수 있어 내부 업무 처리 속도가 크게 빨라졌고 개발 인력의 부담도 줄었습니다.

예약 실행 기능과 클라우드 서비스를 활용하면 셰인의 팀은 AI 도구 웹사이트의 변경 사항을 모니터링하고 최신 정보를 수집해 자체 데이터베이스에 반영할 수 있습니다.

AI 추천 웹사이트 시장의 경쟁이 치열해지는 가운데 셰인은 가능한 한 빠르게 시장 점유율을 확보하고자 합니다. 이를 위해서는 적절한 데이터 정책과 운영 방식이 필요합니다. 다행히 Octoparse는 수집한 모든 데이터가 GDPR을 준수하도록 보장해 비윤리적인 데이터 수집 관행에 대한 우려를 덜어 줍니다.

Octoparse를 활용한 겟코에이아이의 데이터 수집

AI와 자동화 도구가 많은 사람의 일자리를 대체하면서 직장과 사회가 크게 달라지는 모습을 보는 것은 답답한 일입니다. 셰인은 머지않아 사람들이 AI와 협력해 최선의 결과를 내는 미래에 대비해야 할 것이라고 말합니다. 겟코에이아이는 Octoparse와 함께 충분한 AI 뉴스와 자료를 수집해, 다가오는 직업 환경의 변화에 이용자가 대응할 수 있도록 돕고 있습니다.

겟코에이아이의 AI 정보 활용 사례

비슷한 고객 사례

웹 데이터 수집으로 사이트 콘텐츠를 보강하는 방식은 여러 산업에서 활용됩니다. 예를 들어 채용정보 수집 사이트인 커리어원(Careerone)과 그래드사이런(GradSiren)은 Octoparse로 채용 게시판과 여러 웹사이트의 공고를 정기적으로 수집합니다. 이 데이터는 구직자나 인턴십을 찾는 대학생에게 제공됩니다. Octoparse를 활용하면 면접 질문과 같은 상세한 채용 정보도 정확하게 수집할 수 있어 지원자의 합격 가능성을 높이는 데 도움이 됩니다.

오늘은 어떤 데이터를 수집하고 싶으신가요?
필요한 데이터를 설명해 주세요. AI 도우미가 자동으로 크롤러를 만들어 드립니다.
신용카드 등록 없이 이용 가능

지금부터 Octoparse 시작하세요.

다운로드

연관 글