In dit artikel leg ik uit wat het robots.txt bestand is: de ‘uitsmijter’ van je website die bepaalt waar zoekmachines wel en niet mogen komen. Ik leg de syntax uit (User-agent en Disallow) en geef voorbeelden van goede en foute configuraties. Ik waarschuw specifiek voor de ‘Disallow: /’ regel die je hele site onvindbaar maakt. Ook leg ik het verschil uit tussen robots.txt blokkades en de ‘noindex’ tag.

Read More →