Wat deze AI-bot check doet
AI-assistenten halen informatie op met eigen crawlers. Blokkeert je website die crawlers, dan kan ChatGPT of Perplexity je pagina’s niet lezen en dus ook niet als bron gebruiken. Dat gebeurt vaker dan je denkt: door een regel in robots.txt, een beveiligingsplug-in, een firewall van je hostingpartij of een instelling bij Cloudflare.
Deze check doet drie dingen. Hij leest je robots.txt en kijkt per bot welke regel geldt. Hij haalt je pagina op met de naam van elke AI-crawler en vergelijkt het antwoord met dat van een gewone bezoeker. En hij telt hoeveel tekst er overblijft zonder JavaScript, want veel crawlers voeren geen JavaScript uit.
Drie soorten AI-crawlers
Bouwen de index waaruit AI-assistenten antwoorden en bronnen halen. Googlebot, Bingbot en OAI-SearchBot horen hier. Deze wil je altijd toelaten.
Openen je pagina op het moment dat iemand ChatGPT, Claude of Perplexity iets vraagt. Geblokkeerd betekent: geen bron in dat antwoord.
Verzamelen tekst om AI-modellen te trainen. Toelaten is een eigen keuze; het bepaalt niet of je in zoekresultaten verschijnt.
Waarom een groen vinkje niet genoeg is
Een pagina die “200 OK” teruggeeft, kan toch leeg zijn voor een crawler. Websites die volledig met JavaScript zijn gebouwd, sturen vaak een bijna lege pagina en vullen die pas in de browser. Daarom tellen we de leesbare woorden zonder JavaScript. Zie je hier minder dan zo’n 80 woorden, dan ziet een AI-crawler waarschijnlijk vrijwel niets.
Google-Extended blokkeert geen AI-overzichten
Een veelgemaakte fout: Google-Extended blokkeren om uit de AI-overzichten te blijven. Dat werkt niet. Google-Extended regelt alleen training en Gemini. De AI-overzichten en AI-modus in Google Zoeken gebruiken Googlebot. Wil je daar zichtbaar zijn, dan moet Googlebot je pagina’s kunnen lezen. Meer daarover lees je in onze gids over Google AI-modus.
Wat deze check niet kan zien
Sommige firewalls laten een bot alleen door als hij van de echte IP-adressen van OpenAI, Google of Perplexity komt. Onze check gebruikt de naam van de bot, niet zijn IP-adres. Zie je bij zo’n firewall een blokkade, dan kan de echte bot soms wel binnenkomen. Controleer dat in je serverlogboeken of vraag het je hostingpartij. Lees ook onze uitleg over llms.txt en robots.txt.
Veelgestelde vragen
Is de AI-bot check gratis?
Ja. De check is gratis en je hoeft geen gegevens achter te laten. Je kunt hooguit acht checks per tien minuten doen.
Blokkeert Google-Extended de AI-overzichten van Google?
Nee. Google-Extended regelt alleen of Google je content mag gebruiken voor training en voor Gemini. De AI-overzichten en AI-modus in Google Zoeken gebruiken gewoon Googlebot. Wie Googlebot blokkeert, verdwijnt uit Google helemaal.
Moet ik trainingsbots zoals GPTBot toelaten?
Dat is een eigen keuze. Trainingsbots bepalen niet of je in de zoekresultaten van ChatGPT verschijnt; daarvoor is OAI-SearchBot belangrijk. Wil je dat AI-modellen je bedrijf goed kennen, dan helpt het wel om ze toe te laten.
Mijn site is groen, waarom noemt ChatGPT me dan niet?
Toegang is alleen de eerste stap. Of je genoemd wordt, hangt af van je content, je reputatie en vermeldingen op andere sites. Met de gratis AI-check zoeken wij uit hoe ChatGPT, Gemini en Google AI nu over je bedrijf praten.