Website crawlen is wat Google doet voordat je pagina’s ooit in de zoekresultaten kunnen verschijnen: een programma genaamd Googlebot volgt links, haalt je pagina’s op en leest wat erop staat. Pas daarna kan Google besluiten ze te indexeren. Staat jouw site nog nergens in Google, dan zit het probleem bijna altijd in die eerste twee stappen. Hieronder lees je hoe crawlen en indexeren werken en hoe je je website aanmeldt bij Google.
Crawlen, indexeren en ranken zijn drie verschillende dingen
Deze drie worden voortdurend door elkaar gehaald, terwijl je ze bij het oplossen van problemen echt uit elkaar moet houden.
- Crawlen: Googlebot bezoekt je pagina en haalt de code op. Dit is puur ophalen.
- Indexeren: Google verwerkt wat er op de pagina staat en slaat hem op in de index. Een gecrawlde pagina wordt niet automatisch geïndexeerd.
- Ranken: Google bepaalt op welke zoekopdrachten en op welke positie je pagina verschijnt. Dat kan alleen als de pagina in de index zit.
Wordt je pagina niet gecrawld, dan heeft optimaliseren geen enkele zin. Wordt hij wel gecrawld maar niet geïndexeerd, dan vindt Google de inhoud te dun of te veel op iets anders lijken. Twee totaal verschillende problemen, met twee verschillende oplossingen.
Je website aanmelden bij Google in drie stappen
Google vindt de meeste sites vanzelf, via links van andere websites. Maar wachten is zonde als je het proces ook actief op gang kunt brengen. Het aanmelden van een website bij Google is gratis en kost je een kwartier.
Stap 1: koppel je site aan Google Search Console
Search Console is het gereedschap waarmee je ziet hoe Google je site behandelt. Voeg je domein toe en bevestig dat je de eigenaar bent, meestal via een DNS-record of een verificatiebestand op je server. Zonder Search Console werk je blind, dus dit is stap nul van elke serieuze SEO-aanpak.
Stap 2: dien je XML-sitemap in
Een XML-sitemap is een bestand met alle URL’s die je geïndexeerd wilt hebben. WordPress genereert die automatisch, en met Yoast of RankMath vind je hem meestal op jouwdomein.nl/sitemap_index.xml. Die URL plak je in Search Console onder “Sitemaps”.
Belangrijk om te weten: Google noemt het indienen van een sitemap zelf nadrukkelijk een hint, geen garantie. Wat er precies gebeurt en welke formaten toegestaan zijn, staat in de officiële uitleg over een sitemap bouwen en indienen. Een sitemap versnelt het ontdekken van pagina’s, maar dwingt niets af.
Stap 3: vraag indexering aan voor je belangrijkste pagina’s
In Search Console plak je bovenin een URL in de URL-inspectietool. Zie je “URL is niet op Google”, klik dan op “Indexering aanvragen”. Doe dit voor je homepage en je belangrijkste dienstpagina’s, niet voor honderd URL’s tegelijk — daar zit een quotum op. Google beschrijft de werkwijze bij Google vragen je site opnieuw te crawlen en waarschuwt daar zelf dat vaker aanvragen niets versnelt.
Dat laatste zie ik veel mensen toch doen: elke dag opnieuw op die knop drukken. Het helpt niet. Eén keer aanvragen en dan geduld hebben is precies even effectief.
Robots.txt: wat je hiermee wel en niet regelt
In het bestand jouwdomein.nl/robots.txt geef je aan welke delen van je site crawlers níét hoeven op te halen. Handig voor een winkelwagen, interne zoekresultaten of adminpagina’s die toch geen bezoeker uit Google hoeven te halen.
Let wel op het misverstand dat mij het vaakst wordt voorgelegd: robots.txt stopt het crawlen, niet het indexeren. Een geblokkeerde URL kan alsnog in de zoekresultaten opduiken als er ergens naartoe gelinkt wordt. Wil je een pagina echt uit Google houden, gebruik dan een noindex-metatag — en zorg dat die pagina níét in robots.txt geblokkeerd staat, anders leest Google die tag nooit. Google legt dat verschil uit bij indexering blokkeren met noindex.
Waarom Google jouw pagina’s niet crawlt of indexeert
Als een site niet opgepikt wordt, kom ik in de praktijk vrijwel altijd één van deze oorzaken tegen:
- Het WordPress-vinkje “Zoekmachines ontmoedigen deze site te indexeren” staat nog aan onder Instellingen > Lezen. Dit is nummer één, met afstand.
- Een noindex-tag die na de oplevering van de site is blijven staan.
- Robots.txt blokkeert per ongeluk de hele site met
Disallow: /. - De pagina is nergens vanuit je eigen site gelinkt. Een pagina zonder interne links is voor Googlebot lastig te vinden.
- De inhoud lijkt te sterk op een andere pagina van je site. Dan kiest Google er één en negeert de rest — precies wat er speelt bij duplicate content op je website.
- De site laadt zo traag of geeft zo vaak serverfouten dat Googlebot afhaakt.
- De inhoud staat alleen in JavaScript dat pas na een handeling van de gebruiker laadt.
In Search Console vind je onder “Pagina’s” een overzicht met precies deze redenen per URL. Dat rapport is het eerste waar ik naar kijk bij een SEO audit van een website.
Hoe lang duurt het voordat je in Google staat?
Voor een nieuwe pagina op een bestaande, actieve site: vaak een paar dagen. Voor een gloednieuw domein: reken op enkele dagen tot enkele weken. Google doet hier bewust geen harde toezegging over, en iedereen die je een vaste termijn belooft, verzint dat.
Controleren of je erin staat doe je door in Google te zoeken op site:jouwdomein.nl. Zie je niets terwijl je site al weken live is, dan is er echt iets mis en ga je het lijstje hierboven langs.
Wat je verder doet om beter gecrawld te worden
Aanmelden is een eenmalige handeling. Dat Google terug blijft komen, verdien je met de rest van je site.
- Link vanuit je eigen pagina’s naar elkaar. Interne links zijn de wegen waarover Googlebot rijdt.
- Publiceer regelmatig iets nieuws. Sites die veranderen worden vaker bezocht.
- Houd je laadtijd kort. Een snelle server betekent dat Googlebot in dezelfde tijd meer pagina’s ophaalt — zie ook je WordPress-website sneller maken.
- Ruim kapotte links en overbodige redirects op.
- Zorg dat er externe links naar je site komen. Dat is nog steeds de snelste manier waarop Google een nieuw domein ontdekt.
De onderliggende techniek waar dit allemaal op rust, heb ik uitgebreider beschreven in wat technische SEO is, simpel uitgelegd. Dit artikel gaat over vindbaar wórden; dat artikel gaat over het fundament eronder.
Hulp bij het crawlen en indexeren van je website
Staat je site na weken nog steeds niet in Google, of zie je in Search Console meldingen waar je niets van begrijpt? Stuur me je domein, dan kijk ik waar het vastloopt. Ik heb inmiddels ruim 100 websites geoptimaliseerd en dit soort blokkades blijkt meestal een instelling van vijf seconden.
Meer weten over hoe ik structureel aan vindbaarheid werk? Kijk bij zoekmachine optimalisatie, of mail direct naar stijn@fishermanwebdesign.nl.
Via Google Search Console. Voeg je domein toe, bevestig dat je eigenaar bent via een DNS-record of verificatiebestand, dien daarna je XML-sitemap in en vraag met de URL-inspectietool indexering aan voor je belangrijkste pagina’s. Het is gratis en kost ongeveer een kwartier.
Googlebot bezoekt je pagina en haalt de code en inhoud op. Dat is de eerste stap. Pas daarna beslist Google of de pagina in de index komt en of hij op zoekopdrachten getoond wordt. Gecrawld worden is dus nog geen garantie dat je gevonden wordt.
Strikt genomen niet: Google vindt sites vanzelf via links van andere websites. Maar dat kan lang duren. Je website aanmelden bij Google via Search Console versnelt het proces en geeft je bovendien inzicht in fouten die je anders nooit zou zien.
De meest voorkomende oorzaak in WordPress is het vinkje “Zoekmachines ontmoedigen deze site te indexeren” onder Instellingen bij Lezen. Andere veelvoorkomende oorzaken zijn een achtergebleven noindex-tag, een blokkade in robots.txt of een pagina waar geen enkele interne link naartoe wijst.
Dat verschilt per site en bepaalt Google zelf. Sites die vaak veranderen, snel laden en autoriteit hebben, worden vaker bezocht. Een kleine site die zelden wijzigt, kan het bij eens per paar weken houden. In Search Console zie je bij de crawlstatistieken hoe het bij jou zit.