잡학지식) 크롤링(Crawling)

 

크롤링(Crawling)

 

크롤링은 웹(Web) 에 존재하는 내용(Contents)를 수집하는 작업들이다.

 

검색 엔진도 유사한 것을 필수적으로 사용하는데 웹 상의 다양한 정보를 자동으로 검색하고 색인ㅇ하기 위해서 사용한다.

 

이때는 봇(Bot) 지능에이전트가 해당 입력 방식에 따라 끊임없이 새로운 웹페이지를 찾아 종합하고 색인을 추가하는 작업을 스케줄링으로 계속 반복실행한다.

 

★★★☆☆