Skip to content

MongoDB - Erste Erfahrungen

Linux
2 1 231
  • Ich nutze jetzt schon sehr lange Redis , vor allen Dingen wegen meinen Foren. NodeBB unterstützt Redis und MongoDB . Ich hatte damals bei der Installation Redis ausgewählt und bin damit bis heute auch sehr zufrieden. Benutze Redis auch als Cache für meine Nextcloud Installation. Auch Redis Replication wird gerne benutzt usw. Also ein zufriedener Redis Nutzer 🙂

    Redis ändert das Lizenz Modell

    Jetzt hat sich da ja was verändert, der einen dazu bringt mal Dinge zu überdenken oder auch einfach mal Neues auszuprobieren. Da ich für meine kleinen Python Projekte auch Redis einsetze, habe ich mir mal gedacht, testen wir doch mal MongoDB. Ja, mir ist das Lizenzmodell bekannt!

    Da man das auch gut mit NodeBB einsetzen kann, ist es ja auch mal an der Zeit sich das anzuschauen 😉

    Eines meiner kleinen Python Projekte ist Portfolio, ein Tool um Aktien und seine Kurse zu verwalten. Also nichts besonderes. Ich speichere damit meine Aktienbestände und kann die aktuellen Kurswerte von einer Webseite abholen. Das alles speichere ich dann in der Redis DB.

    Zuerst wollte ich das modular aufbauen, also mit Redis & MongoDB. Das war aber mit meinen Kenntnissen eine Nummer zu groß, so dass ich schnell entschied das nicht so zu machen. Ich habe das Projekt dann kopiert und Redis komplett entfernt und alles auf MongoDB umgebaut.

    Da ich ja erst vor kurzem den Redis Server von einem Docker Dienst zu einer VM migriert hatte (Artikel), bot es sich an, den MongoDB Dienst auch dort laufen zu lassen.

    Ok, nun mal an was Praktisches.

    Installation

    apt install mongodb-org
    

    Danach kurz die ufw konfiguriert

     ufw allow mongod
     ufw allow 27017
    

    Mein erster Startversuch war kläglich gescheitert, weil irgendein CPU Protokoll nicht vorhanden war. Der Dienst läuft auf einem Proxmox. Erst nachdem ich den Type auf host eingestellt hatte lief es.

    a418cb7b-9589-482d-8d5f-0eac176eaca8-image.png

    Konfiguration

    MongoDB nutzt einen SystemD Dienst

    root@redis-stack:~# systemctl status mongod
     mongod.service - MongoDB Database Server
         Loaded: loaded (/lib/systemd/system/mongod.service; enabled; vendor preset: enabled)
         Active: active (running) since Mon 2024-04-01 08:56:43 CEST; 1h 54min ago
           Docs: https://docs.mongodb.org/manual
       Main PID: 20919 (mongod)
         Memory: 224.4M
            CPU: 26.040s
         CGroup: /system.slice/mongod.service
                 └─20919 /usr/bin/mongod --config /etc/mongod.conf
    

    Hier sieht man, welche Konfigurations Datei geladen wird.

    /etc/mongod.conf

    # mongod.conf
    
    # for documentation of all options, see:
    #   http://docs.mongodb.org/manual/reference/configuration-options/
    
    # Where and how to store data.
    storage:
      dbPath: /var/lib/mongodb
    #  engine:
    #  wiredTiger:
    
    # where to write logging data.
    systemLog:
      destination: file
      logAppend: true
      path: /var/log/mongodb/mongod.log
    
    # network interfaces
    net:
      port: 27017
      bindIp: 192.168.3.9
    
    
    # how the process runs
    processManagement:
      timeZoneInfo: /usr/share/zoneinfo
    
    #security:
      security.authorization: enabled
    
    #operationProfiling:
    
    #replication:
    
    #sharding:
    
    ## Enterprise-Only Options:
    
    #auditLog:
    

    Die IP ist von der VM auf meinem Proxmox. Ich hatte erst ohne User & Passwort alles in Python auf die MongoDB umgestellt, dazu kommt ein separater Beitrag. Heute Morgen dann beim Kaffee, das Thema Security 🙂 Ihr wisst ja, Foren sind heute nicht mehr so in, ChatGPT hilft einem doch dabei, oder?

    Ich sollte das hier machen

    • Login DB
    • DB auswählen
    • User anlegen

    Login DB

    Da ich ja die MongoDB nur auf die IP 192.168.3.9 lauschen lasse, kann ich mich auf dem Rechner lokal nicht anmelden. Also muss man das so machen.

    mongosh --host 192.168.3.9
    

    Danach sieht man ein CLI

    root@redis-stack:~# mongosh  --host 192.168.3.9
    Current Mongosh Log ID: 660a5d31a731e65bddc00e7d
    Connecting to:          mongodb://<credentials>@192.168.3.9:27017/?directConnection=true&appName=mongosh+2.2.1
    Using MongoDB:          7.0.7
    Using Mongosh:          2.2.1
    mongosh 2.2.2 is available for download: https://www.mongodb.com/try/download/shell
    
    For mongosh info see: https://docs.mongodb.com/mongodb-shell/
    
    test> 
    

    Hier kann man jetzt die administrativen Befehle absetzen.

    DB auswählen

    Einfach 🙂

    use admin
    

    Innerhalb der MongoDB gibt es mehrere vorkonfigurierten Datenbanken. Eine davon heißt admin

    8377bde4-699c-421b-9992-9c2785934e5d-image.png

    Der Screenshot ist von dem Programm MongoDB Compass, ein UI um die Datenbank zu verwalten usw.

    admin, config und local sind voreingestellte Datenbanken, die bei der Installation automatisch angelegt werden.

    User anlegen

    Nun gab mir ChatGPT folgendes um den User anzulegen.

    db.createUser({
      user: "<name>",
      pwd: "<password>",
      roles: [ { role: "userAdminAnyDatabase", db: "admin" } ]
    })
    

    Danach in der Konfiguration das hier ergänzt

    #security:
      security.authorization: enabled
    

    Dann den Dienst neu starten

    systemctl restart mongod
    

    Irgendwie klappte da aber gar nichts, erstes Problem sind Sonderzeichen im Passwort. DIe kann man auf Python Seite encoden und zwar so.

    from urllib.parse import quote_plus
    encoded_password = quote_plus(MONGO_PASSWORD)
    

    Danach hatte ich irgendwann Zugang zur MongoDB, aber meine Datenbank war leer. Hilfe, alle meine Daten weg. Das wäre eine kleine Katastrophe. Ruhe bewahren 😉

    Nachdenken. Ok loggen wir uns mit dem User & Passwort mal ein.

    root@redis-stack:~# mongosh -u <user> -p <password> --host 192.168.3.9
    

    Es kam folgendes

    Current Mongosh Log ID: 660a5dab42ca150895c00e7d
    Connecting to:          mongodb://<credentials>@192.168.3.9:27017/?directConnection=true&authSource=admin&appName=mongosh+2.2.1
    Using MongoDB:          7.0.7
    Using Mongosh:          2.2.1
    mongosh 2.2.2 is available for download: https://www.mongodb.com/try/download/shell
    
    For mongosh info see: https://docs.mongodb.com/mongodb-shell/
    
    test> use meineDatenbank
    switched to db meineDatenbank
    meineDatenbank> show collections
    MongoServerError[Unauthorized]: not authorized on meineDatenbank to execute command { listCollections: 1, filter: {}, cursor: {}, nameOnly: true, authorizedCollections: false, lsid: { id: UUID("e5a6716a-207c-4478-80de-xxxxxxxxxxxx") }, $db: "meineDatenbank" }
    

    Ich hatte also die DB ausgewählt

    use meineDatenbank #dämlicher Name
    

    und dann wollte ich mir Collections anzeigen lassen, weil vorher in meinem Python Projekt alles leer war.

    show collections

    Und dann kam der Fehler MongoServerError[Unauthorized] Ok, da stimmte was nicht mit den Zugriffsrechten nicht. ChatGPT meinte dann ganz trocken, ja wenn Du das möchtest musst Du auch die Rolle angeben. Jo, Fu.....

    Also die Rechte angepasst.

    admin> db.updateUser("frank", {
    ...   roles: [
    ...     { role: "userAdminAnyDatabase", db: "admin" },
    ...     { role: "readWrite", db: "meineDatenbank" }
    ...   ]
    ... })
    { ok: 1 }
    

    Jetzt konnte ich auch die Datenbank lesen & schreiben 🤓

    Und hier noch der Befehl um ein Passwort zu ändern.

    db.updateUser("<USER>", {
      pwd: "<PASSWORD>"
    })
    

    Backup & Restore (ki-generiert)

    Aktuell noch ungetestet, da ich aber finde das gehört hier irgendwie mit dazu habe ich das hier schon mal abgelegt.

    To backup all databases

    mongodump --uri="mongodb://username:password@localhost:27017" --out=/path/to/backup
    

    To backup a specific database

    mongodump --uri="mongodb://username:password@localhost:27017/databaseName" --out=/path/to/backup
    

    To restore all databases from a backup directory:

    mongorestore --uri="mongodb://username:password@localhost:27017" /path/to/backup
    

    To restore a specific database:

    mongorestore --uri="mongodb://username:password@localhost:27017" --nsInclude=databaseName.* /path/to/backup/databaseName
    

    Und wieder was gelernt...

  • So frisch von der MongoDB Front und wieder viel gelernt, weil beim Üben macht man Fehler 🙂

    Oben war ja mongodump & mongorestore von der KI empfohlen. Hier das wie ich es gemacht habe.

    mongodump

    frank@redis-stack:~$ mongodump -u frank -p '<password>' --host 192.168.3.9 --authenticationDatabase admin -d portfolio -o mongodump/
    2024-04-06T09:29:25.174+0200    writing portfolio.stockList to mongodump/portfolio/stockList.bson
    2024-04-06T09:29:25.175+0200    writing portfolio.users to mongodump/portfolio/users.bson
    2024-04-06T09:29:25.175+0200    done dumping portfolio.stockList (8 documents)
    2024-04-06T09:29:25.176+0200    writing portfolio.total_sum to mongodump/portfolio/total_sum.bson
    2024-04-06T09:29:25.177+0200    done dumping portfolio.total_sum (1 document)
    2024-04-06T09:29:25.177+0200    writing portfolio.old_total_sum to mongodump/portfolio/old_total_sum.bson
    2024-04-06T09:29:25.177+0200    writing portfolio.stocks to mongodump/portfolio/stocks.bson
    2024-04-06T09:29:25.177+0200    done dumping portfolio.users (4 documents)
    2024-04-06T09:29:25.178+0200    writing portfolio.settings to mongodump/portfolio/settings.bson
    2024-04-06T09:29:25.178+0200    done dumping portfolio.settings (1 document)
    2024-04-06T09:29:25.179+0200    done dumping portfolio.old_total_sum (1 document)
    2024-04-06T09:29:25.179+0200    done dumping portfolio.stocks (34 documents)
    

    mongorestore

    mongorestore -u frank -p '<password>' --host 192.168.3.9 --authenticationDatabase admin -d portfolio mongodump/meineDatenbank/
    

    Hier wird die Datensicherung mongodump/meineDatenbank/ in die neue Datenbank portfolio transferiert.

    Grund für das Ganze? Mich hatte der Datenbank Name meineDatenbank gestört.

    Benutzerrechte

    Jetzt der Teil wo man schnell was falsch machen kann 🙂 Ich hatte also die neue Datenbank, konnte sie aber nicht lesen. Fehlten halt die Rechte. Ich hatte dann so was hier gemacht.

    db.updateUser("frank", { roles: [ { role: "readWrite", db: "meineDatenbank" }, { role: "readWrite", db: "portfolio" }]})
    

    Ging auch prima, kam ein ok zurück. Nun das Problem, ich hatte beim Einrichten, den User frank als admin benutzt. Durch den oben abgesetzten Befehl (frank ist ja admin), wurden die neuen Rechte gesetzt und die Rechte als Admin entzogen!! Das war jetzt nicht wirklich das was ich gebrauchen konnte. LOL

    Ich hatte jetzt keine Kontrolle mehr über die DB. Das war aber nicht so wirklich kompliziert, das wieder zu ändern. Die Authentication temporär abstellen. Also /etc/mongod.conf editieren und

    #security:
    security.authorization: enabled
    

    eben mal auskommentieren. Den Daemon neustarten und anmelden an der DB.

    mongosh --host 192.168.3.9
    

    Danach neuen User anlegen

    db.createUser({
      user: "<name>",
      pwd: "<password>",
      roles: [ { role: "userAdminAnyDatabase", db: "admin" } ]
    })
    

    mongod.conf wieder ändern und neustarten. Danach hat man wieder eine DB mit Authentifizierung und einen neuen Admin. Ich bin diesmal, man lernt ja, anders vorgegangen. Es gibt nun einen Admin für die DB und einen User zum Benutzen der Datenbanken! So wie man es auch auf einem produktiven System auch machen würde. Wenn ich jetzt mal was an den Benutzerrechten des Users ändere, kann mir das mit dem Admin nicht mehr passieren. Hoffe ich 🙂

  • FrankMF FrankM hat am 18. Mai 2024, 07:27 auf dieses Thema verwiesen

1/2

1. Apr. 2024, 09:35


  • Podman - Netzwerke prunen

    Podman podman linux 4. März 2025, 19:52
    0 Stimmen
    1 Beiträge
    119 Aufrufe
    Niemand hat geantwortet
  • Update 1.33.2

    Vaultwarden vaultwarden linux 9. Feb. 2025, 20:06
    0 Stimmen
    1 Beiträge
    157 Aufrufe
    Niemand hat geantwortet
  • Update 1.32.3 released

    Vaultwarden vaultwarden linux 28. Okt. 2024, 17:50
    0 Stimmen
    1 Beiträge
    137 Aufrufe
    Niemand hat geantwortet
  • Restic feiert 10. Geburtstag

    Restic restic linux 9. Apr. 2024, 15:18
    1
    0 Stimmen
    1 Beiträge
    169 Aufrufe
    Niemand hat geantwortet
  • 0 Stimmen
    2 Beiträge
    443 Aufrufe
    https://github.com/ayufan-rock64/linux-mainline-kernel/releases/tag/6.8.0-1190-ayufan
  • Debian Bookworm 12 - Restic

    Linux debian restic linux 16. Apr. 2023, 09:57
    0 Stimmen
    1 Beiträge
    183 Aufrufe
    Niemand hat geantwortet
  • Debian Buster 10.6 released

    Linux debian linux 26. Sept. 2020, 13:32
    0 Stimmen
    1 Beiträge
    233 Aufrufe
    Niemand hat geantwortet
  • Wireguard - Client installieren

    Wireguard linux wireguard 9. Apr. 2020, 06:44
    0 Stimmen
    3 Beiträge
    731 Aufrufe
    Ich kann dir nicht ganz folgen. Mein Wireguard Server ist eine VM im Netz. Mein Smartphone baut zu diesem eine Verbindung auf und ich habe mal eben nachgeschaut, was da so geht. Mein Smartphone ist aktuell im meinem WLan angemeldet. [image: 1586458461693-6e0016dc-7e11-41e1-bba2-e52a3f1348df-image-resized.png] iperf3 -s -B 10.10.1.1 ----------------------------------------------------------- Server listening on 5201 ----------------------------------------------------------- Accepted connection from 10.10.1.10, port 44246 [ 5] local 10.10.1.1 port 5201 connected to 10.10.1.10 port 44248 [ ID] Interval Transfer Bitrate [ 5] 0.00-1.00 sec 4.98 MBytes 41.7 Mbits/sec [ 5] 1.00-2.00 sec 5.52 MBytes 46.3 Mbits/sec [ 5] 2.00-3.00 sec 4.80 MBytes 40.3 Mbits/sec [ 5] 3.00-4.00 sec 4.17 MBytes 35.0 Mbits/sec [ 5] 4.00-5.00 sec 5.04 MBytes 42.3 Mbits/sec [ 5] 5.00-6.00 sec 5.43 MBytes 45.6 Mbits/sec [ 5] 6.00-7.00 sec 5.75 MBytes 48.3 Mbits/sec [ 5] 7.00-8.00 sec 5.70 MBytes 47.8 Mbits/sec [ 5] 8.00-9.00 sec 5.73 MBytes 48.1 Mbits/sec [ 5] 9.00-10.00 sec 5.65 MBytes 47.4 Mbits/sec [ 5] 10.00-10.04 sec 206 KBytes 46.5 Mbits/sec - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate [ 5] 0.00-10.04 sec 53.0 MBytes 44.3 Mbits/sec receiver ----------------------------------------------------------- Server listening on 5201 ----------------------------------------------------------- Accepted connection from 10.10.1.10, port 44250 [ 5] local 10.10.1.1 port 5201 connected to 10.10.1.10 port 44252 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 4.80 MBytes 40.2 Mbits/sec 0 253 KBytes [ 5] 1.00-2.00 sec 14.7 MBytes 123 Mbits/sec 181 379 KBytes [ 5] 2.00-3.00 sec 9.68 MBytes 81.2 Mbits/sec 58 294 KBytes [ 5] 3.00-4.00 sec 8.88 MBytes 74.5 Mbits/sec 1 227 KBytes [ 5] 4.00-5.00 sec 7.76 MBytes 65.1 Mbits/sec 0 245 KBytes [ 5] 5.00-6.00 sec 8.88 MBytes 74.5 Mbits/sec 0 266 KBytes [ 5] 6.00-7.00 sec 9.81 MBytes 82.3 Mbits/sec 0 289 KBytes [ 5] 7.00-8.00 sec 7.82 MBytes 65.6 Mbits/sec 35 235 KBytes [ 5] 8.00-9.00 sec 5.59 MBytes 46.9 Mbits/sec 4 186 KBytes [ 5] 9.00-10.00 sec 6.64 MBytes 55.7 Mbits/sec 0 207 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.04 sec 84.6 MBytes 70.6 Mbits/sec 279 sender ----------------------------------------------------------- Server listening on 5201 ----------------------------------------------------------- ^Ciperf3: interrupt - the server has terminated Im zweiten Teil ist der Wireguard Server der Sender. Bis jetzt hatte ich eigentlich nie Probleme, auch nicht unterwegs. Aber, ich gehe davon aus, das ich dich nicht 100% verstanden habe