Co to jest crawler? - Definicja
Crawler - to bot, czyli oprogramowanie, z którego korzystają wyszukiwarki internetowe, w tym m.in. Google. Roboty mają za zadanie zbierać oraz analizować wiadomości na temat funkcjonowania wszystkich stron internetowych - zarówno pod kątem technicznym, jak i pod kątem publikowanego contentu.
Przeczytaj również na naszym blogu: Strony internetowej nie ma w Google. O co chodzi?