파싱1
(용어) 크롤링 (Crawling), 스크래핑 (Scraping) , 파싱 (Parsing) 개요 및 차이점 정리
웹 데이터 수집 과정에서 크롤링, 스크래핑, 파싱의 용어들이 자주 혼용되어 정리함 1. 크롤링 (Crawling) 개요 1-1. 정의 - 웹 크롤링(Web Crawling)은 '크롤러(crawler)' 또는 '스파이더(spider)'라고 불리는 자동화된 프로그램(봇)을 사용하여 웹 페이지들을 체계적으로 탐색하고 정보를 수집하는 과정임 - 크롤링의 주된 목적은 여러 웹사이트를 방문하여 페이지의 콘텐츠와 구조를 파악하고, 페이지 내의 하이퍼링크를 따라 다른 페이지로 이동하는 작업을 반복하며 방대한 웹의 정보를 수집 - 이렇게 수집된 데이터는 검색 엔진의 인덱스 생성, 데이터 분석, 시장 조사 등 다양한 목적으로 활용됨 2. 스크래핑 (Scraping) 개요 2-1. 정의 - 웹 스크래핑(Web Scrapin..