Erweitert um die Nutzung der robots.txt Datei.
-
Erweitert um die Nutzung der robots.txt Datei.
AI Bots aussperren
Ich glaube, wegen @thomas@metalhead.club bin ich über dieses Projekt gestolpert. Es gibt ja private Webprojekte im Netz, wo ich diesen AI-Bot-Besuch nicht so...
linux-nerds.org (linux-nerds.org)