Crawler

Co to jest crawler? - Definicja

Crawler - to bot, czyli oprogramowanie, z którego korzystają wyszukiwarki internetowe, w tym m.in. Google. Roboty mają za zadanie zbierać oraz analizować wiadomości na temat funkcjonowania wszystkich stron internetowych - zarówno pod kątem technicznym, jak i pod kątem publikowanego contentu.

Przeczytaj również na naszym blogu: Strony internetowej nie ma w Google. O co chodzi?