linux-nerds.org

Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.

Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).

AI Bots aussperren

Linux

2 Beiträge 1 Kommentatoren 137 Aufrufe

F Offline
F Offline
FrankM

schrieb zuletzt editiert von

#1
Ich glaube, wegen @thomas@metalhead.club bin ich über dieses Projekt gestolpert. Es gibt ja private Webprojekte im Netz, wo ich diesen AI-Bot-Besuch nicht so gerne möchte. Da ich gelesen habe, das sich diese Bots nicht an die robots.txt halten, muss man sich halt was einfallen um sie zu ärgern Ich denke, das es kein 100%iger Schutz ist, aber evtl. ist es ein Anfang.

GitHub - ai-robots-txt/ai.robots.txt: A list of AI agents and robots to block.

A list of AI agents and robots to block. Contribute to ai-robots-txt/ai.robots.txt development by creating an account on GitHub.

GitHub (github.com)

Da ich Nginx nutze, benötige ich dieses File.
```
nginx-block-ai-bots.conf
```
Das muss dann noch in Nginx eingebaut werden und dann sollte es funktionieren. Mein Ansatz um das zu lösen, sieht so aus. Ich habe ein Script

ai-block.sh
```
#!/bin/bash
# Script um AI-Bots zu blocken
# https://github.com/ai-robots-txt/ai.robots.txt/tree/main

mkdir /root/AI-test
cd /root/AI-test

## Daten holen
curl -O https://raw.githubusercontent.com/ai-robots-txt/ai.robots.txt/master/nginx-block-ai-bots.conf

## Daten in nginx einbauen
mv nginx-block-ai-bots.conf /etc/nginx/blocklists/

## NGINX neustarten
systemctl restart nginx.service
```
Das wird über einen crontab Eintrag jeden Tag aufgerufen.
```
0 1 * * * /root/ai-block.sh
```
Und in Nginx wird die Blocklist so geladen. Nur ein Ausschnitt aus dem Server Block.
```
## Server Block
server {
   listen       443 ssl;
   listen  [::]:443 ssl;
   server_name  <DOMAIN>;

   # AI-Bots blockieren
    include /etc/nginx/blocklists/nginx-block-ai-bots.conf;
```
Testen kann man das dann so.
```
  curl -A "ChatGPT-User" <DOMAIN>
  curl -A "Mozilla/5.0" <DOMAIN>
```
Der erste Test bringt dann einen 403
```
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.22.1</center>
</body>
</html>
```
Der zweite Test ist ein erlaubter Zugriff.

Danke an @thomas@metalhead.club für den Beitrag zu o.g. Projekt.

Und zum Schluss noch die Frage "Was kann man noch machen?"

Als Ergänzung noch, ich arbeite gerne mit diesen AI's an meinen Python Projekten, aber trotzdem gibt es private Webseiten von mir, wo ich das nicht möchte.
Im Fediverse -> @FrankM@nrw.social

NanoPi R5S

Quartz64 Model B, 4GB RAM

Quartz64 Model A, 4GB RAM

RockPro64 v2.1
1 Antwort Letzte Antwort

0

FrankM

schrieb

Wir können das noch für eine sanfte Methode erweitern, das ist die Datei robots.txt, wo man sich in alten Zeiten mal dran hielt. Einige Bots machen das, andere nicht. Praktisch, das o.g. Projekt bietet diese Datei auch an. Dann werden wir das kurz mal mit einbauen.

ai-block.sh

#!/bin/bash
# Script um AI-Bots zu blocken
# https://github.com/ai-robots-txt/ai.robots.txt/tree/main

mkdir /root/AI-test
cd /root/AI-test

## Daten holen
curl -O https://raw.githubusercontent.com/ai-robots-txt/ai.robots.txt/master/nginx-block-ai-bots.conf
curl -O https://raw.githubusercontent.com/ai-robots-txt/ai.robots.txt/master/robots.txt

## Daten in nginx einbauen
mv nginx-block-ai-bots.conf /etc/nginx/blocklists/
mv robots.txt /var/www/html

## NGINX neustarten
systemctl restart nginx.service

Damit das in nginx funktioniert. Den Server Block um folgendes erweitern.

# Serve robots.txt directly from Nginx
location = /robots.txt {
    root /var/www/html;
    try_files $uri =404;
}

Kurzer Test

https://<DOMAIN>/robots.txt

Ergebnis

User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: Amazonbot
User-agent: anthropic-ai
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Brightbot 1.0
User-agent: Bytespider
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: Crawlspace
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: FacebookBot
User-agent: FriendlyCrawler
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: img2dataset
User-agent: imgproxy
User-agent: ISSCyberRiskCrawler
User-agent: Kangaroo Bot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: PanguBot
User-agent: Perplexity-User
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: Scrapy
User-agent: SemrushBot-OCOB
User-agent: SemrushBot-SWA
User-agent: Sidetrade indexer bot
User-agent: Timpibot
User-agent: VelenPublicWebCrawler
User-agent: Webzio-Extended
User-agent: YouBot
Disallow: /

Anmelden zum Antworten

F

Update 1.30.5 released
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Vaultwarden vaultwarden linux
1

0 Stimmen

1 Beiträge

185 Aufrufe

Niemand hat geantwortet
F

Vaultwarden auf Debian Bookworm 12 installieren!
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Linux vaultwarden bookworm linux
6

5

0 Stimmen

6 Beiträge

4k Aufrufe

I

Vielen lieben Dank Nico! Jetzt läuft vaultwarden.
F

Star64 - Warnung
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Star64 star64 risc-v linux
1

0 Stimmen

1 Beiträge

106 Aufrufe

Niemand hat geantwortet
F

Manjaro Stable-Update vom 20.02.23
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Linux manjaro docker linux
2

0 Stimmen

2 Beiträge

168 Aufrufe

F

Ich konnte es nicht lassen, ich habe es mal getestet.    ~  docker version  ✔  1m 37s  Client: Version: 23.0.1 API version: 1.42 Go version: go1.20 Git commit: a5ee5b1dfc Built: Sat Feb 11 13:58:04 2023 OS/Arch: linux/amd64 Context: default In der aktuellen systemd Datei steht folgendes drin. Bei mir zu finden unter /usr/lib/systemd/system/docker.service LimitNOFILE=infinity LimitNPROC=infinity LimitCORE=infinity Die override Dateien angelegt und durchgestartet. Läuft alles einwandfrei. Aber bitte fragt mich nicht, was dieser Wert da oben macht. Ich habe keine Ahnung. Update: Erklärung zu ulimits https://stackoverflow.com/questions/62127643/need-understand-ulimits-nofile-setting-in-host-and-container
F

NanoPi R4S - Armbian
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben NanoPi R4S armbian linux nanopir4s
2

0 Stimmen

2 Beiträge

420 Aufrufe

F

Müsste seit gestern so weit sein [image: 1612720791407-b20f93d2-1719-40c5-afb8-6b4edafa6793-image.png]
F

Kopia - Mounten einer Sicherung
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Kopia kopia linux
1

1

0 Stimmen

1 Beiträge

238 Aufrufe

Niemand hat geantwortet
F

ROCKPro64 - Debian Bullseye Teil 2
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben ROCKPro64 debian linux rockpro64
3

0 Stimmen

3 Beiträge

521 Aufrufe

F

Gestern mal das Ganze mit einem Cinnamon Desktop ausprobiert. Eine verschlüsselte Installation auf eine PCIe NVMe SSD. So weit lief das alles reibungslos. Der Cinnamon Desktop hat dann leider keine 3D Unterstützung. Sieht so aus, als wenn keine vernünftigen Grafiktreiber genutzt würden. Da ich auf diesem Gebiet aber eine Null bin, lassen wir das mal so. Außerdem mag ich sowieso keine Desktops auf diesen kleinen SBC. Da fehlt mir einfach der Dampf Gut, was ist mir so aufgefallen? Unbedingt die Daten des Daily Images erneuern, keine alten Images nutzen. Ich hatte da jetzt ein paar Mal Schwierigkeiten mit. Da das ja nun keine Arbeit ist, vorher einfach neu runterladen und Image bauen. Warum zum Henker bootet eigentlich. außer meiner Samsung T5, nichts vom USB3 oder USB-C Port??
F

Wireguard 1.0.0
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Wireguard linux wireguard
1

0 Stimmen

1 Beiträge

364 Aufrufe

Niemand hat geantwortet