솔루션&서비스11
(용어) 크롤링 (Crawling), 스크래핑 (Scraping) , 파싱 (Parsing) 개요 및 차이점 정리
웹 데이터 수집 과정에서 크롤링, 스크래핑, 파싱의 용어들이 자주 혼용되어 정리함 1. 크롤링 (Crawling) 개요 1-1. 정의 - 웹 크롤링(Web Crawling)은 '크롤러(crawler)' 또는 '스파이더(spider)'라고 불리는 자동화된 프로그램(봇)을 사용하여 웹 페이지들을 체계적으로 탐색하고 정보를 수집하는 과정임 - 크롤링의 주된 목적은 여러 웹사이트를 방문하여 페이지의 콘텐츠와 구조를 파악하고, 페이지 내의 하이퍼링크를 따라 다른 페이지로 이동하는 작업을 반복하며 방대한 웹의 정보를 수집 - 이렇게 수집된 데이터는 검색 엔진의 인덱스 생성, 데이터 분석, 시장 조사 등 다양한 목적으로 활용됨 2. 스크래핑 (Scraping) 개요 2-1. 정의 - 웹 스크래핑(Web Scrapin..
(용어) 통계에서 '내검(內檢)'의 뜻
1. 정의 - 통계에서 내검(內檢)이란, 통계 작성기관 내부에서 통계 산출 전·후 단계에 수행하는 자체 품질점검·검토 활동을 말함 - 수집된 데이터나 조사표 등의 기초 자료에 오류가 없는지, 설정된 기준에 부합하는지 내부적으로 확인하고 수정 2. 정의(2) - 통계자료 에디팅(statistical data editing)은 자료 수집 및 처리 단계에서 오류를 찾아내고 이를 수정하는 과정을 말함 - 에디팅은 작업 방법에 따라 수작업 에디팅과 자동 에디팅(automatic editing)으로 구분 - 통계청에서는 통계작성기관으로서 이러한 에디팅 과정을 내용검토(또는 줄여서 내검)라 부름 "(자료) Fellegi-Holt 기법을 이용한 에디팅의 시도 및 분석. 2009(이의규, 심규호)" 3. 내검의 범위 -..
MDSS(Micro Data Sevice System), MDIS(MicroData Integrated Service)
1. MDSS(Micro Data Sevice System) 가. 명칭 : 마이크로데이터 서비스 시스템 나. 개요 - 마이크로데이터는 통계조사 원자료에서 조사 또는 입력 오류를 수정한 개별단위 자료 - 여기서 개별단위란 개인, 가구, 사업체 등을 의미함 다. 참고자료 - https://www.korea.kr/archive/expDocView.do?docId=16574- https://kostat.go.kr/menu.es?mid=b20102020200- https://blog.naver.com/hi_nso/221510321898- https://www.innovation.go.kr/ucms/bbs/B0000023/view.do?nttId=11589&menuNo=300107&pageIndex=12. MDIS..
[용어] 라이브러리(Library), 프레임워크(Framework), 솔루션(Solution), 플랫폼(Platform) 개념 정의
■ 라이브러리 (Library) 1. 개념 - 소프트웨어 개발 시 필요한 기능(함수, 클래스 등)을 미리 구현해 놓은 코드 모음 2. 호출방식 : - 개발자가 애플리케이션의 제어권을 가지며, 필요한 시점에 라이브러리의 기능을 호출하여 사용 - 프레임워크와 라이브러리의 가장 큰 차이점은 '제어의 역전(Inversion of Control, IoC)'에 있음. - 라이브러리는 개발자가 직접 코드를 호출하지만, 프레임워크는 개발자가 작성한 코드를 프레임워크가 호출하여 사용. 즉, 애플리케이션의 흐름을 프레임워크가 주도하며, 개발자는 프레임워크가 정해놓은 규칙에 따라 필요한 부분을 채워 넣는 방식으로 개발을 진행 3. 주요 라이브러리 예시 : - jQuery: HTML 문서 조작, 이벤트 처리, 애니메이션..
APIM (API Management) 솔루션 개요 및 기능
APIM (API Management) 솔루션은 조직이 API의 생성, 배포, 운영, 모니터링, 관리, 보안 등을 체계적으로 관리할 수 있게 돕는 소프트웨어 플랫폼API의 전 생애주기를 통합적으로 관리함으로써 서비스 품질을 유지하고, 보안, 접근통제, 사용량 통계 등 실시간 관리를 가능하게 함1. APIM (API Management) 솔루션 개요 - 개요 : 조직 내외부에 제공하는 API의 전체 수명주기(설계→개발→보안→배포→운영→수익화)를 표준화·자동화·가시화 - 도입이유 : 보안 강화, 거버넌스 일관성, 개발자 경험(DevEx) 향상, 운영 효율 및 비용 최적화, 비즈니스 민첩성 확보 2. APIM (API Management) 솔루션 주요 기능 - API 게이트웨이(Data Plane) : 트래..