Technik
robots.txt
Eine Datei, die Suchmaschinen sagt, welche Bereiche einer Website sie crawlen dürfen.
Die robots.txt ist eine kleine Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie aufrufen dürfen und welche nicht. Sie steuert das Crawling, nicht die Indexierung: Eine per robots.txt gesperrte Seite kann in Ausnahmen trotzdem im Index landen. Ein häufiger und teurer Fehler ist, versehentlich CSS, JavaScript oder ganze wichtige Verzeichnisse zu blockieren.
Auch genannt: robots txt, Robots-Datei
Sie wollen diese Begriffe nicht selbst umsetzen müssen? Die Blog Machine übernimmt SEO, Recherche und Entwurf für Sie. Ein Redakteur prüft und gibt jeden Beitrag frei.
Pakete ansehen