datacrawling (1) 썸네일형 리스트형 [설계] 실무에서 데이터 크롤링(Data Crawling) 프로그램 구조 및 설계 Crawling 이란? 사전적으로는 기어다니는 것 전산에서는 데이터를 대량 수집하는 기법을 말한다. 여러 분야에서 데이터를 수집할 수 있으며 웹 페이지에서 크롤링이 이루어지면 웹 크롤링이라 한다. Crawling 프로그램의 구조 및 설계 웹 뿐만 아니라 파일, 데이터베이스 등 데이터를 수집하게 되는 크롤링 프로그램을 다수의 사람들이 모여 함께 구현을 하게 된다면 어떤식으로 설계를 해야 유지보수가 쉽고, 구현 시에 효율을 높일 수 있을지 고민이 되었다. 1. Crawling 에 필요한 요소들 먼저 Crawling 프로그램에 필요한 요소들을 정의하면 아래와 같다. Datasource: 데이터를 수집하고 Crawler에게 수집한 데이터를 공급함 Crawler: Policy 에 정의된 정책을 바탕으로 Datas.. 이전 1 다음
