크롤링 뜻

최근 크롤링이란 다양한 매체를 통해 듣는 것 같습니다.

영어로 crawl 인데 어떤 의미로 쓰이는 것일까요?

 

1) 크롤링 뜻

영어로 crawl은 기다, 기어가다의 뜻입니다.

따라서 크롤링의 사전적인 뜻은 기는 것, 기어가는 것이라는 의미입니다.

 

2) IT에서의 크롤링 뜻

그럼 IT에서 크롤링은 무슨 뜻일까요?

보통 검색엔진에서 자료를 수집하는 것을 크롤링이라고 하는데 수집 로봇이 마치 기어가듯이 자료를 하나하나 방문해서 긁어모으기 때문이 아닌가 싶습니다.

비슷한 뉘앙스이긴한데 정확히 설명을 하기는 어렵네요.

이런 말을 쓰게 된 건 출처는 기억이 나지는 않지만 (아마도 유튜브에서 들었던 것 같습니다.)

검색엔진에서 자료를 수집하는 봇이 거미처럼 생겼다는 상상에서, 돌아다니면서 자료를 수집하는걸로 이미지화를 해서 크롤링이라는 단어가 쓰였다는 것 같습니다.

정확하지는 않지만 저도 이 얘기를 들은 후부터는 자료수집하는 모습이 비슷하게 이미지화 되더라구요.

3) 크롤링 주기

이제는 개인들도 간단한 코드로 크롤링을 할 수 있고 많은 인터넷 환경에서 크롤링이란 단어는 쉽게 듣습니다.

특히 마케터나 블로거들은 크롤링이 중요합니다.

검색엔진이 자신의 글을 빨리 크롤링해서 검색 노출이 되어야하기 때문이죠.

언제 어떻게 크롤링이 되는지는 잘 모르겠지만 일정한 주기로 크롤링을 해서 업데이트가 되는 것 같습니다.

블로그에서는 좀 더 크롤링이 잘 되도록 사이트맵이나 rss등을 조절할 수도 있도록 하는 것 같은데 해당 내용이 알고 싶다면 블로그 최적화 등의 키워드로 찾아보시면 자세히 나와있을 것 같네요.