Skip to content

OpenWrt - LXC Container

Linux
  • Nachdem ich gestern ziemlich viel Zeit erfolglos verballert habe, einen Docker Container in OenWrt über die WAN-Seite zu erreichen, bin ich heute mal wieder über einen Kommentar gestolpert, der mich neugierig macht.

    That is a good reason :slight_smile: I myself moved to LXC containers: they just work and do not require messing with firewall rules.

    Quelle: https://forum.openwrt.org/t/pihole-in-a-docker-no-internet-access/131035/33

    Ok, der Begriff LXC ist mir nicht neu, das kenne ich schon von der Proxmox. Aber, ob das auch auf dem NanoPi R5S läuft 🤔

    Warum brauche ich das denn überhaupt?

    Ich habe wie wohl viele, eine Fritzbox, damit fängt mein Netzwerk an. Dahinter trenne ich das in verschiedene Netzwerke auf, je nachdem wie viel ich den Geräten vertraue.

    Dazu dient mir aktuell eine OpenWrt Installation, die auf einem NanoPi R5S läuft und mit der ich sehr zufrieden bin.

    Aktuell läuft dort auch ein Docker Container, der mir mein DokuWiki spiegelt.

    Ich nutze als Werbeblocker für mein Handy einen unbound mit entsprechendem Script. Das lief mal auf meiner Proxmox, aber die ist ja durch die hohen Energiekosten dem Rotstift zum Opfer gefallen 😉

    Ein Dienst, den ich wieder in meinem Netz haben möchte, läuft aktuell auf irgendeinem Hetzner Server. (Vorsicht Werbung)

    Also mal die Anleitung dazu bei OpenWrt rausgesucht. Nachdem ich geprüft hatte ob das Meiste installiert war, habe ich die paar fehlenden Tools nachinstalliert.

    Das bekommt ihr auch hin, so schwer war das nicht 🙂

    Ich habe das dann wie in der Anleitung mal alles nachgemacht und siehe da, der erste LXC Container lief.

    Ein wenig herum gespielt und für gut befunden. Sollte gut nutzbar sein um den Unbound laufen zu lassen.

    180017fe-f3cc-45b5-a4dd-4b1b4c58afd4-grafik.png

    In dem Debian 11 Bullseye den unbound und mein Script installiert, ein paar kleine Anpassungen und dann ausprobiert. Hmm, der Dienst war nicht erreichbar, bzw. mit telnet bekam ich eine funktionierende Verbindung mit dig aber keine Antwort!?

    Also mal auf dem LXC Container nachgesehen

    netstat -tulpn | grep 53
    

    Da lauscht doch noch ein anderer Dienst auf Port 53, kein Wunder das ich den unbound nicht erreichen kann.

    service systemd-resolved stop
    systemctl disable systemd-resolved.service
    

    Danach hing nur noch der unbound am Port 53. Nun ging es an erste Tests. Der LXC Container hat ein voll funktionierendes Netzwerk, mit ipv4 und ipv6.

    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
        inet 127.0.0.1/8 scope host lo
           valid_lft forever preferred_lft forever
        inet6 ::1/128 scope host 
           valid_lft forever preferred_lft forever
    2: gre0@NONE: <NOARP> mtu 1476 qdisc noop state DOWN group default qlen 1000
        link/gre 0.0.0.0 brd 0.0.0.0
    3: gretap0@NONE: <BROADCAST,MULTICAST> mtu 1462 qdisc noop state DOWN group default qlen 1000
        link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff
    4: erspan0@NONE: <BROADCAST,MULTICAST> mtu 1450 qdisc noop state DOWN group default qlen 1000
        link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff
    5: eth0@if27: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
        link/ether 00:ff:dd:bb:cc:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0
        inet 192.168.3.19/24 brd 192.168.3.255 scope global dynamic eth0
           valid_lft 37254sec preferred_lft 37254sec
        inet6 2a02:908:xxxx:xxxx::1ff/128 scope global dynamic noprefixroute 
           valid_lft 6131sec preferred_lft 2531sec
        inet6 fd00:ab:cd:2::1ff/128 scope global dynamic noprefixroute 
           valid_lft 42132sec preferred_lft 2531sec
        inet6 fd00:ab:cd:2:2ff:ddff:febb:cc02/64 scope global mngtmpaddr noprefixroute 
           valid_lft forever preferred_lft forever
        inet6 2a02:908:xxxx:xxxx:2ff:ddff:febb:cc02/64 scope global dynamic mngtmpaddr noprefixroute 
           valid_lft 6132sec preferred_lft 2532sec
        inet6 fe80::2ff:ddff:febb:cc02/64 scope link 
           valid_lft forever preferred_lft forever
    

    Da er in meinem LAN hing, konnte ich erste Tests von meinem Haupt-PC aus durchführen.

    [frank-ms7c92 ~]# dig @192.168.3.19 linux-nerds.org
    
    ; <<>> DiG 9.18.5 <<>> @192.168.3.19 linux-nerds.org
    ; (1 server found)
    ;; global options: +cmd
    ;; Got answer:
    ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 49432
    ;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
    
    ;; OPT PSEUDOSECTION:
    ; EDNS: version: 0, flags:; udp: 1232
    ;; QUESTION SECTION:
    ;linux-nerds.org.               IN      A
    
    ;; ANSWER SECTION:
    linux-nerds.org.        600     IN      A       23.88.100.106
    
    ;; Query time: 323 msec
    ;; SERVER: 192.168.3.19#53(192.168.3.19) (UDP)
    ;; WHEN: Thu Sep 08 15:45:20 CEST 2022
    ;; MSG SIZE  rcvd: 60
    

    Dazu muss der unbound natürlich auch so konfiguriert sein, das er die Anfragen auch annimmt und drauf antwortet. Stichwort:

    access-control: 192.168.3.0/24 allow
    

    Sehr gut, jetzt musste ich den nur noch durch den NanoPi R5S hindurch erreichen, also WAN -> LAN. Dazu muss man in der Firewall einen Port Forward einrichten.

    3de9c53b-f651-42a2-84c7-3dcf5a755de8-grafik.png

    Hoppla, braucht noch einen vernünftigen Namen 🙂 Danach konnte ich den Unbound durch WAN -> LAN erreichen. Perfekt!

    In meiner Wireguard Einstellung angepasst und mein Werbeblocker ist wieder ordentlich in meinem Netz.

    Damit habe ich jetzt mit Docker Container auf dem OpenWrt rumgespielt und mit LXC Containern. Mir gefällt im Moment LXC besser, mal sehen ob das in 14 Tagen auch noch so ist.

  • Heute Morgen beim ☕ noch schnell probiert, ob der Container automatisch startet, macht er nicht.

    Aber in der oben verlinkten Anleitung ist auch das dokumentiert.

    opkg install lxc-auto lxc-autostart
    uci show lxc-auto
    uci add lxc-auto container
    uci set lxc-auto.@container[-1].name=myLMS
    uci set lxc-auto.@container[-1].timeout=30
    uci show lxc-auto
    uci commit lxc-auto
    

    Danach startet der Container automatisch, wenn OpenWrt neugestartet wird,

  • @FrankM

    Hallo Frank,

    alternativ kann man auf dem R5S auch AdGuard laufen lassen läuft nativ ohne Container nutze das bzw. teste das momentan mit SmartDNS als Server als Cache, bisher 1Monat am laufen DNS requests werden so im schnitt mit 2ms abgearbeitet (gefilter usw..)

    um nur werbung zu blocken gibts auch einen einfachen adblocker im openwrt.

  • @Dude Danke für die Tipps. Die Tools waren mir bekannt, auch wenn ich sie noch nicht selber getestet habe. Man kann ja nicht alles ausprobieren 🙂

    Unbound bot sich hier einfach als Test für die LXC Container an.

  • NanoPi R5S - TF-A released

    NanoPi R5S
    1
    0 Stimmen
    1 Beiträge
    165 Aufrufe
    Niemand hat geantwortet
  • OpenWrt - Docker & DNS & Zugriff auf WAN

    Linux
    4
    0 Stimmen
    4 Beiträge
    394 Aufrufe
    FrankMF

    Es geht weiter, der erste ☕ und ich bin mit der Lösung nicht so richtig zufrieden, also suchen.

    Als erstes habe ich heute Morgen ein frisches SD-Karten Image mit Docker von FreindlyWrt genommen und auf meinem Test NanoPi R5S installiert. Dort mal die Config angeschaut um zu sehen, ob der Eintrag standardmäßig gesetzt ist. Doch dort taucht dann einmal eine ganz ander Config auf 🙄

    # The following settings require a restart of docker to take full effect, A reload will only have partial or no effect: # bip # blocked_interfaces # extra_iptables_args # device config globals 'globals' # option alt_config_file '/etc/docker/daemon.json' option enable '1' option data_root '/mnt/nvme_part2/docker' option log_level 'warn' option iptables '1' #list hosts 'unix:///var/run/docker.sock' # option bip '172.18.0.1/24' # option fixed_cidr '172.17.0.0/16' # option fixed_cidr_v6 'fc00:1::/80' # option ipv6 '1' # option ip '::ffff:0.0.0.0' # list dns '172.17.0.1' # list registry_mirrors 'https://<my-docker-mirror-host>' list registry_mirrors 'https://hub.docker.com' option remote_endpoint '0' # option bridge 'br-container' # Docker ignores fw3 rules and by default all external source IPs are allowed to connect to the Docker host. # See https://docs.docker.com/network/iptables/ for more details. # firewall config changes are only additive i.e firewall will need to be restarted first to clear old changes, # then docker restarted to load in new changes. config firewall 'firewall' option device 'docker0' list blocked_interfaces 'wan' option extra_iptables_args '--match conntrack ! --ctstate RELATED,ESTABLISHED' # allow outbound connections

    Das interessiert uns jetzt

    list blocked_interfaces 'wan' option extra_iptables_args '--match conntrack ! --ctstate RELATED,ESTABLISHED' # allow outbound connections

    Wenn ich das jetzt alles richtig verstehe, muss WAN geblockt sein, weil sonst der Docker Host offen im Netz steht (Hierbei bin ich mir nicht 100% sicher)
    Die zweite Zeile ist eine iptables Regel, die es den Containern dann ermöglicht das Internet zu erreichen.

    Das habe ich jetzt so eingestellt und getestet.

    root@b9ffae24913a:/# ping 1.1.1.1 PING 1.1.1.1 (1.1.1.1): 56 data bytes 64 bytes from 1.1.1.1: icmp_seq=0 ttl=57 time=17.151 ms 64 bytes from 1.1.1.1: icmp_seq=1 ttl=57 time=16.553 ms 64 bytes from 1.1.1.1: icmp_seq=2 ttl=57 time=20.630 ms 64 bytes from 1.1.1.1: icmp_seq=3 ttl=57 time=13.948 ms ^C--- 1.1.1.1 ping statistics --- 4 packets transmitted, 4 packets received, 0% packet loss round-trip min/avg/max/stddev = 13.948/17.071/20.630/2.382 ms root@b9ffae24913a:/# ping google.de PING google.de (142.250.185.195): 56 data bytes 64 bytes from 142.250.185.195: icmp_seq=0 ttl=58 time=23.797 ms 64 bytes from 142.250.185.195: icmp_seq=1 ttl=58 time=16.953 ms 64 bytes from 142.250.185.195: icmp_seq=2 ttl=58 time=19.441 ms ^C--- google.de ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max/stddev = 16.953/20.064/23.797/2.829 ms

    Ich hoffe mal das ich diese Thema jetzt zu den Akten legen kann.

    Wenn was falsch ist, bitte hier kommentieren, damit ich das ändern kann.

  • NanoPi R5S - mein Netzwerk-Setup

    NanoPi R5S
    5
    0 Stimmen
    5 Beiträge
    571 Aufrufe
    FrankMF

    Bei meinen Versuchen Docker von /opt/docker nach z.B.: /mnt/nvme/docker zu verlegen tauchte ein Problem auf, irgendwann waren meine Daten auf der NVMe weg. Nur Backups, also kein Problem 🙂

    Kurz mal nachdenken, da ich eine NVMe SSD mit 1TB verbaut habe, war das neue Konzept relativ schnell klar.

    Zwei Partitionen aus der NVMe machen.

    Partition1 für Backups Partition2 für docker

    Alles eingerichtet, Docker Container wieder installiert. Test Reboot um zu schauen, das die Daten auch erhalten bleiben. DokuWiki gesynct - läuft.

    Da mir noch das Backup meine NAS fehlte, kurz neu initialisiert und das Backup angestoßen. Alles so, wie ich es gerne hätte, mal sehen wie lange das so überlebt 😉

  • NanoPi R5S - Unterwegs

    NanoPi R5S
    7
    0 Stimmen
    7 Beiträge
    248 Aufrufe
    FrankMF

    Das ging nicht so, wie ich mir das so einfach vorgestellt hatte, aber na gut man lernt nie aus. Die OpenWrt Konfiguration hat doch ihre Stolperstellen.

    Aber, aktuell läuft es und ich denke ich habe auch verstanden, was ich die ganze Nacht falsch gemacht habe 😉

    c337a5a8-930f-44c3-860e-7e4810f798c1-grafik.png

    Docker Container laufen jetzt und meine Netzwerkkonfiguration ist auch auf der Kiste. Zu den ganzen Feinheiten und Problemen schreib ich noch was..

  • NanoPi R5S - Spezifikationen

    NanoPi R5S
    2
    0 Stimmen
    2 Beiträge
    180 Aufrufe
    FrankMF

    R5S_en_14.jpg
    Bildquelle: https://www.friendlyelec.com/index.php?route=product/product&path=69&product_id=287

  • NanoPi R4S - OpenWrt Image Download

    NanoPi R4S
    2
    0 Stimmen
    2 Beiträge
    332 Aufrufe
    FrankMF

    Das Image gibt es jetzt offiziell 😉

    Index of /snapshots/targets/rockchip/armv8/

    favicon

    (downloads.openwrt.org)

    Geht aber wohl nur auf der 4GB Version. Auf meiner 1GB Version bekomme ich

    Missing DTB
  • NanoPi R4S - OpenWrt kompilieren

    Angeheftet NanoPi R4S
    2
    0 Stimmen
    2 Beiträge
    397 Aufrufe
    FrankMF

    Ja, ich kann bestätigen, es funktioniert und startet einwandfrei!

  • NanoPi R4S - FriendlyWrt

    NanoPi R4S
    1
    0 Stimmen
    1 Beiträge
    464 Aufrufe
    Niemand hat geantwortet