Skip links

Webcrawler

Laatst aangepast: 14 januari 2019

Eerder hadden we het al over lieve, niet-harige spinnetjes. Ze verschillen in alle opzichten van onze achtpotige vrienden.

Webcrawlers of spiders zijn bots die het wereldwijde web op een methodische manier doorbladeren. Dat doorbladeren noemen we de indexatie.

Zoekmachines indexeren (doorbladeren) het wereldwijde web. Dit doen ze niet zelf. Hiervoor hebben ze personeel genaamd ‘webcrawlers’.

De webcrawlers analyseren de verschillende webpagina’s en controleren waarover ze gaan. Ze doen dit razendsnel. Het meest efficiënte personeel dat er bestaat.

Webpagina’s worden geïndexeerd, hyperlinks worden gevolgd. En dat allemaal om ons als gebruiker de meeste relevante zoekresultaten te kunnen tonen.

Ook meta-tags spelen in dit verhaal een grote rol. Zoals reeds beschreven, geeft elke meta tag andere informatie aan de zoekmachine.

Zo is het ook mogelijk om meta-tags op te nemen voor webcrawlers. Deze meta-tags duiden dan specifiek aan dat een bepaalde pagina bijvoorbeeld niet geïndexeerd hoeft te worden. Dit ziet er dan als volgt uit:

<meta name=”robots” content=”noindex”>

Indien deze meta-tags niet aanwezig zijn, volgen de webcrawlers de normale gang van zaken en indexeren ze alle webpagina’s.

Waarom zouden we bepaalde pagina’s niet laten indexeren? Meestal wordt deze meta tag gebruikt om specifieke informatie niet zichtbaar te maken voor het grote publiek.

Zo maken wij bij Kreatix bijvoorbeeld gebruik van een pagina met hosting tarieven. Deze info is namelijk niet toegankelijk voor iedereen op het wereldwijde web, maar enkel voor klanten. Deze pagina zal dus niet geïndexeerd worden door de webcrawlers van Google.

Weergaven: 17