Proxmox - Umzug auf neue Hardware ASRock N100DC-ITX

[FrankM]

Hier mal der Test der Platine auf meinem Schreibtisch. Das wollte ich jetzt mal ausprobieren. Ersetzen soll es dieses Board ASRock J5040-ITX

Ich hatte mir im Vorfeld viele Gedanken gemacht, wie ich das gut hinbekomme. Im Nachhinein betrachtet, habe ich viel zu viel nachgedacht

Auf dem alten Proxmox, habe ich das ZFS-Raid exportiert.

zpool export pool_1

Danach ausgeschaltet und umgebaut. Die alte NVMe ins neue Board eingebaut, die Platten dran angeschlossen und fertig. Einschalten!

Als erstes auf der Proxmox Konsole nachgesehen. Ich hatte, erwartet, kein Internet. Mir war schon beim Testen aufgefallen, das die internen LAN-Schnittstelle einen anderen Namen hat.

/etc/network/interfaces

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface eno1 inet manual

auto enp1s0f0
iface enp1s0f0 inet manual

auto enp1s0f1
iface enp1s0f1 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.178.218/24
        gateway 192.168.178.1
        bridge-ports enp2s0
        bridge-stp off
        bridge-fd 0
#Proxmox / WAN

auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp1s0f0
        bridge-stp off
        bridge-fd 0
#LAN

auto vmbr2
iface vmbr2 inet manual
        bridge-ports enp1s0f1
        bridge-stp off
        bridge-fd 0
#OPT1

Neu heißt die jetzt enp2s0, vorher war das en0 (wenn ich mich recht erinnere), Die PCIe Netzwerkkarte mir zwei LAN-Schnittstellen blieb unverändert. Also, neustarten.

Danach hatte ich schon mal eine Verbindung ins Inetrnet. Alle VMs waren gestartet, bis auf eine die ich von Hand starte. Dann kam das Interessante, der Stromverbrauch.

Das bewegt sich so zwischen 20 und 22W, wenn der Proxmox sich langweilt. Auf dem anderen Board war ich so bei ca. 13 - 14W. Das ist jetzt ein wenig ernüchternd, ich hatte eigentlich gehofft so in die selbe Höhe zu kommen. Das Problem müssten die Platten des NAS sein, meine beiden SSDs die ich als ZFS-Pool nutze. Das werde ich später nochmal erläutern, ich muss da jetzt testweise mal was umkonfigurieren.

Ansonsten läuft das Board, bei gut 70 Grad.

...wird fortgesetzt

[FrankM]

Ich habe im BIOS noch ein Stromsparfunktion für die PCIe-Karte gefunden. Jetzt hab ich im Idle so zwischen 18 - 20W

Bei dem anderen NAS hatte ich um die 13W im Idle. Ok, ich hoffe das sich das evtl.. noch etwas verbessert mit BIOS-Updates oder auch einem neueren Kernel. Warten wir mal ab.

[FrankM]

Mittlerweile habe ich den Proxmox auf die Version 8.0.3. hochgezogen.

Lief bis heute Morgen einwandfrei. Dann gab es einen Crash. Irgendwas mit der internen LAN-Schnitstelle.

r8169 rtl_chipmod_con 001

Hmm? Proxmox Forum durchsucht und das hier gefunden.

Hab das mal so angelegt, non-free habe ich hinzugefügt.

deb http://ftp.de.debian.org/debian bookworm main contrib non-free non-free-firmware

deb http://ftp.de.debian.org/debian bookworm-updates main contrib non-free non-free-firmware

# security updates
deb http://security.debian.org bookworm-security main contrib non-free non-free-firmware

deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription

Danach

root@pve:~# apt update
root@pve:~#  apt install  r8168-dkms
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  build-essential cpp cpp-12 dkms dpkg-dev fakeroot g++ g++-12 gcc gcc-12 libabsl20220623 libalgorithm-diff-perl libalgorithm-diff-xs-perl
  libalgorithm-merge-perl libaom3 libasan8 libatomic1 libavif15 libc-dev-bin libc-devtools libc6-dev libcc1-0 libcrypt-dev libdav1d6 libde265-0 libdeflate0
  libdpkg-perl libfakeroot libfile-fcntllock-perl libgav1-1 libgcc-12-dev libgd3 libgomp1 libheif1 libisl23 libitm1 libjbig0 liblerc4 liblsan0 libmpc3 libmpfr6
  libnsl-dev libquadmath0 librav1e0 libstdc++-12-dev libsvtav1enc1 libtiff6 libtirpc-dev libtsan2 libubsan1 libwebp7 libx265-199 libxpm4 libyuv0 linux-libc-dev
  lsb-release make manpages-dev patch pve-headers-6.2 pve-headers-6.2.16-4-pve rpcsvc-proto sudo
Suggested packages:
  cpp-doc gcc-12-locales cpp-12-doc menu debian-keyring g++-multilib g++-12-multilib gcc-12-doc gcc-multilib autoconf automake libtool flex bison gdb gcc-doc
  gcc-12-multilib glibc-doc git bzr libgd-tools libstdc++-12-doc make-doc ed diffutils-doc
The following NEW packages will be installed:
  build-essential cpp cpp-12 dkms dpkg-dev fakeroot g++ g++-12 gcc gcc-12 libabsl20220623 libalgorithm-diff-perl libalgorithm-diff-xs-perl
  libalgorithm-merge-perl libaom3 libasan8 libatomic1 libavif15 libc-dev-bin libc-devtools libc6-dev libcc1-0 libcrypt-dev libdav1d6 libde265-0 libdeflate0
  libdpkg-perl libfakeroot libfile-fcntllock-perl libgav1-1 libgcc-12-dev libgd3 libgomp1 libheif1 libisl23 libitm1 libjbig0 liblerc4 liblsan0 libmpc3 libmpfr6
  libnsl-dev libquadmath0 librav1e0 libstdc++-12-dev libsvtav1enc1 libtiff6 libtirpc-dev libtsan2 libubsan1 libwebp7 libx265-199 libxpm4 libyuv0 linux-libc-dev
  lsb-release make manpages-dev patch pve-headers-6.2 pve-headers-6.2.16-4-pve r8168-dkms rpcsvc-proto sudo
0 upgraded, 64 newly installed, 0 to remove and 0 not upgraded.
Need to get 85.7 MB of archives.
After this operation, 375 MB of additional disk space will be used.
Do you want to continue? [Y/n] 

Danach muss der Proxmox durchgestartet werden. Und jetzt warten wir mal ab....

[nei]

Hallo Frank,
vielen Dank für den Testbericht. Ich bin aktuell auch am planen für ein N100DC-ITX mit Proxmox. Bei Asrock habe ich gesehen, dass sie einen SATA Power Connector (SATA_PWR1) auf dem Motherboard haben. Es scheint eine 4 Pin SATA Stromversorgung zu sein, dies in einer "Small" Ausführung, also kleiner als Molex. Daher meine Frage. Liegt dem Motherboard auch schon ein SATA-Stromkabel bei? Wenn dem so ist, ist es dann gerade auch ein Y- Stomkabel, so dass beide SATA Ports mit Strom versorgt werden können?
Vielen Dank im Voraus,
Nei

[FrankM]

@nei Ja liegt bei, als Y-Ausführung.

[nei]

Vielen Dank für prompte und informative Antwort

[maltejahn]

Hallo,

ich möchte mir ebenfalls ein N100 (DC oder nicht DC.....?) Mainboard von Asrock zulegen und hätte da ein paar Fragen.
Eigentlich will ich mehrere Raspberrys ersetzen und unter Proxmox zusammenführen. Ich will mein SmartHome Raspberry und meinen Webserver und ggf. noch einen extra Raspberry im VMs unter Proxmox sammeln. Ab 3 Raspberry habe ich das locker bzgl. der Leistungsaufnahme wieder drinnen)

Das ganze mit ZFS (mirror) - bisher haben die Raspberrys keinen Schutz gegen Ausfall eines Datenspeichers

Frage 1:
Reichen die maximal 16 Gb Ram aus für (gefühlswert):
ZFS, 2TB. 24/7
Wordpress, Nextcloud, Backup Smartphone - eine überschaubbare Anzahl User
SmartHome (FHEM/NodeRed/Zigbee/Mqtt) -> ständige Datenbankzugriffe
Vermutlich noch ein Windows VM, aber das würde nur selten genutzt

Frage 2:
Eigentlich würde ich gerne WD Red NVMEs nehmen -> schneller und kosten quasi das gleiche wie SSDs
Nun hat der Asrock "nur" ein NVME
Idee:
-> NVME onboard + NVME per PCIE Slot für ZFS
-> Onboard: M.2 (PCIe Gen3x2)
-> Zusatz: PCIe 3.0 x16 (x2 mode)
-> Proxmox auf ne kleine SSD

Es ist schwer etwas in Foren zu finden, da die meisten sich mit N100 für Firewallanwendungen beschäftigen (servethehome.com z.B.)
Deswegen finde ich es toll das ich was "deutschsprachiges" gefunden habe

Grüße
Malte

[FrankM]

@maltejahn Ich versuche mal etwas Licht ins Dunke zu bringen.

Meine aktuelle Konfiguration. Der RAM dürfte zuerst ausgehen, denke ich. Aber, für das was ich hier mache, reicht das alle Male. Aber, ich habe auch so gut wie keinen Traffic, keine User usw. Ab und zu laufen mal ein paar Backups usw. Eher, ein Datengrab. Die pfSense schaufelt meinen gesamten Traffic, das wars.

Ja, mit Platten Anschlüssen ist das Board nicht sehr üppig ausgestattet. Man könnte noch einen SATA-Adapter in den PCIe Slot bauen, dann kann man locker noch mehr Platten dran hängen, vorausgesetzt das Gehäuse ist groß genug. Ich brauchte den PCIe Slot für Netzwerkkarten, wegen der pfSense. Mir reicht das aber so.

Sys ist auf dem M.2 Slot, würde ich auch unbedingt so empfehlen. Man will ja etwas Spaß haben. Dann habe ich zwei SSD Platten an den SATA-Ports. Und eine externe USB-Platte intern am USB3 Anschluss mit Adapter (für Backups).

Die beiden SSD-Platten dienen mir als NAS (ZFS).

Das läuft jetzt schon eine ganze Weile, fast störungsfrei. Nach Upgrade auf V8 des Proxmos hatte ich mal Probleme mit dem Netzwerk, habe ich das hier dokumentiert? Dazu gab es aber eine Lösung, seit dem läuft alles rund.

DC oder nicht, hattest Du noch gefragt? Geschmackssache. Ich wollte das mal ausprobieren um von dem PICO PSU Netzteil wegzukommen (die problemlos funktionieren ) Günstiger ist das Board ohne DC - logisch.

Also wie immer, kommt drauf an, was man machen will.

[maltejahn]

Guten Morgen Frank,

danke für die Antwort.

RAM: Ich war irgendwie auf 16GB fixiert (Intel Angabe). Dann hier gesehen das Du 32GB verwendest. Google benutzt -> Reddit: "wäre instabil". Aber Asrock selbst gib ja 32 GB Module als kompatibel an. Hattest Du mal irgendwie ein Memtest oder so gemacht?
Weil, dann ist RAM gar kein Problem:

• Proxmox min. 2 GB
• ZFS 2GB (gehe zur Zeit von 1GB/TB)
• ich habe meine 3 RPis angesehen die ich ersetzen will. Zusammen kommen die mit 8 GB Ram aus. Hätte also noch Luft bis 32GB

DC Variante oder nicht. Die "nicht" DC Variante hat einen zusätzlichen PCIE 3.0x1 (angeblich irgendwo 1 GByte/s). PfSense habe ich mich noch nicht beschäftigt... aber alle scheinen das zu tun. Wäre vielleicht auch ein Bastelprojekt
-> vielleicht eine Netzwerkkarte in den 3x1 Slot. Wird zwar kein GByte erreichen, aber als Karte Richtung Außenwelt sollte es reichen. Richtung internes Netzwerk den internen Netzwerkchip nutzen (ja, habe das mit dem Realtek Chip Problem hier im Forum gelesen)
-> ich tendiere zur nicht DC Variante

NVME oder nicht als Datengrab:

• "ich" vermute: Da ich eher viele kleine Datenhäppchen habe (Datenbankzugriffe) würde mit eine Festplatte mit hoher IOPS helfen. Ob das die CPU nutzen kann steht auf einem anderen Blatt
• Proxmox, wenn es läuft, ja nicht mehr viel zu tun hat -> deswegen das auf eine "langsame" SSD

Ich versuche mir nach dem Urlaub so ein Teil anzuschaffen. Das Teil ist auf alle Fälle eine Verbesserung gegenüber meinem Pi-Zoo. Vor allem in Richtung Datensicherheit. Und das ich VMs einfach Backupen kann.

Grüße
Malte

[bernd]

Hallo,

ich hoffe das ich hier mal zwei Frage zu dem MB stellen darf.
Vor ein paar Tagen habe ich auch das MB bekommen und es mit einer M.2 von Samsung 970 EVO Plus 1TB, 16GB Samsung RAM und einer Wlan M.2 AX201 Karte bestückt.
Zum testen habe ich erstmal Win 11 installiert (Später soll aber Linux drauf).
Nun das Problem:
Wenn der Rechner nur im Desktop ist (also wenig Leistung) kann man ein seltsames spratzeln hören.
Sobald der Rechner belastet wird z.B. mit Stress My PC von Software OK ist das Geräusch verschwunden.
Stoppt der Test ist es wieder da.
Könnte das jemand mal bei seinem MB überprüfen?

Dann die zweite Frage:
Das soll ja ein Fanless MB sein aber nach kurzer Zeit unter Belastung ca 10-15 Minuten fängt die CPU an zu trotteln.
Sie fällt dann auf 2294MHz herunter Temperatur ist dann 97C° mit einem Gehäuselüfter 120mm der bei Belastung mit ca. 800rpm dreht bleibt die CPU stabil bei 2693MHz und einer Temperatur von ca. 52C°.
Wie habt ihr das, mit oder ohne extra Lüfter?

Ich wäre dankbar wenn das mal einer an seinem System überprüfen könnte.

Danke und Gruß
Bernd

[FrankM]

@bernd Willkommen im Forum

Ja, Du darfst hier gerne Fragen zu dem Board stellen.

Zu deinen Geräuschen kann ich eigentlich nicht viel sagen, ich hatte es lange direkt neben mir auf dem Schreibtisch liegen, eingeschaltet und in Betrieb. Mir ist da nichts aufgefallen, obwohl ich auf solche Geräusche sehr allergisch reagiere.

Zu den Temperaturen.

Mein Proxmox sagt dazu folgendes. Ob das wirklich aussagekräftig ist, weiß ich nicht. Bin da bei sehr neuen Boards immer skeptisch. Ja, der Prozessor wurde schon ordentlich warm. Aber direkt über meinem Gehäuse, habe ich eben noch mal mit der Hand geprüft, leicht warme Luft. Ich mache mir da wenig Sorgen drüber. Ich habe keinen Gehäuselüfter verbaut, ich hasse Lüfter. Sind nur im Haupt-PC erlaubt

Ich habe selten große Lasten auf der CPU, wenn das für Dich ein normaler Anwendungsfall ist, würde ich den Gehäuselüfter verbaut lassen.

[bernd]

@FrankM

Erstmal danke für das Willkommen und für die schnelle Antwort.
Die Geräusche hört man wenn man nicht weiter als ca. 25cm über dem MB ist.
Eventuell sind die Geräusche nicht zu hören wenn man mehr Verbraucher dran hat.
Du hast ja wahrscheinlich noch weitere Festplatten verbaut.
Mal sehen ob ich da mal was anschließen kann um zu hören ob sich dann noch was verändert.

Zur Temperatur habe ich das mal im Desktop Modus beobachtet da wird die CPU maximal 65C° warm und im durchschritt läuft die bei ca. 50 C°.
Beim abspielen eines Videos 320x240 erreicht die CPU max. 77 C° und im Durchschnitt 65 C°.
Aber bei den Temperaturen heizt sich die SSD leider auch mit auf, ca. 64 C°.
Wenn man die Leistungsbewertung nochmal laufen lässt " Winsat formal" kommt die CPU auf 79C°.

Die M.2 SSD sitzt etwas zu nahe an der CPU/Kühlkörper.

Gruß
Bernd

[Andy]

@FrankM sind die 20Watt mit HDDs?

Mein alter HP Gen8 nimmt 22Watt im idle mit 4x3TB platten im standby.

Wollte den eigentlich mal durch ein n100 ersetzen.

[FrankM]

@Andy Ja, mit Platten. Auslastung Proxmox sieht aktuell so aus.

[Andy]

Das ist dann aber schon ziemlich gut mit HDD im Betrieb braucht der hp 40Watt.

[FrankM]

Der Verbrauch ist im Idle, also nicht wirklich Last drauf. Also z.B. auch keine Schreibzugriffe usw. Sollte aber auch nur etwas höher unter Last werden, da ich zwei SSD als Raid1 einsetze und eine 3,5 Zoll HDD als Backup Medium.

[RaSc]

Guten Morgen. Ich würde zu den SSD gern eine Frage stellen. Ich möchte von meinem RasPi auch auf das Board umsteigen. Nun habe ich mich etwas in Proxmox und ZFS eingelesen. Das soll große Schreiblasten verursachen und die SSD ordentlich stressen bzw. kaputschreiben.

Hast Du Enterprise - SSD? Oder anders gefragt, welche Erfahrungen konntest Du bislang mit SSDs in Verbindung mit Proxmox machen?

Danke sehr und allen einen schönen Sonntag.

[FrankM]

@RaSc sagte in Proxmox - Umzug auf neue Hardware ASRock N100DC-ITX:

Nun habe ich mich etwas in Proxmox und ZFS eingelesen. Das soll große Schreiblasten verursachen und die SSD ordentlich stressen bzw. kaputschreiben.

Hallo @RaSc und Willkommen im Forum. Ja, das kann passieren, vor allen Dingen im Zusammenhang mit dem Proxmox Backup Server. Das ist aber für mein Setup unerheblich, warum? Eine Erklärung.

Mein Proxmox Setup basiert auf einer verbauten NVMe SSD. Soll heißen, der Proxmox Host läuft auf dieser NVMe und beinhaltet ein normales ext4.

/dev/mapper/pve-root: UUID="0aad6271-9162-479a-a724-cde690acfb10" BLOCK_SIZE="4096" TYPE="ext4"

Ok, alles gut. Läuft also wie immer. Warum jetzt ZFS im Proxmox? Proxmox bietet über sein GUI nur eine Raid Installation mittels ZFS an. So weit ich weiß, bietet man auch nur dafür Support an.

Man könnte das auch noch über die Konsole machen, Stichwort mdadm, aber ich erinnere mich das das nicht so wollte wie es sollte. So habe ich am Ende doch zu ZFS gegriffen.

Noch ein kurzes Beispiel, wer noch so alles zu ZFS greift. pfSense nutzt das mittlerweile auch.

Zurück zu meinem NAS. Jetzt habe ich zwei SSD-Platten WD Red an den SATA-Ports angeschlossen. Diese beiden SSDs sind zu einem Raid 1 (ZFS) zusammengefasst.

Da passiert erst mal gar nichts, weil was soll da groß drauf schreiben? Ist nur meine persönliche Datenablage.

Was bei ZFS sehr wichtig ist, ist genug RAM. Da ZFS sehr viel RAM für die Verwaltung benötigt. (Bin da kein Experte für)

Aber auch das sehe ich ganz entspannt.

Es laufen aktuell 5 Debian Bookworm 12 VMs.

Was wichtig ist, aber das ist es immer, Backups! Die lege ich auf eine angeschlossene 2,5 Zoll HDD ab. Da kommen die Backups der VMs und mein Restic Backup des NAS drauf.

Ich fühle mich damit eigentlich ganz wohl

[RaSc]

Vielen Dank. Das heißt, Du nutzt für Proxmox an sich keine Redundanz und verzichtest auf eine Sicherheitsfeatures, die ZFS bringen würde. Wie oft sicherst Du denn mit Deinem Setup Proxmox und die VMs? Wenn tatsächlich mal etwas aus dem Backup zurückgespielt werden muss, wird das gesamte Paket, also Proxmox und VMs zurückgespielt?

Danke sehr.

[FrankM]

Man muss hier sehr unterscheiden, ob ich Proxmox zu Hause laufen habe oder im Internet. Eine Installation im Internet würde vollkommen anders aussehen. Hier dreht es sich aber um eine Installation bei mir zu Hause. Und auch auf Hardware, die nur eine begrenzte Anzahl von Platten aufnehmen kann.

Ich habe mit dem jetzigen Setup keine Probleme. Was soll passieren? Worst Case wäre, die NVMe des Proxmox würde kaputt gehen. Ja, das wäre blöd. Also frisch ran, neue Hardware rein, neu aufsetzen und dann die VMs aus dem Backup wieder herstellen.

Die VMs sichere ich täglich, mit der Proxmox Backup Funktion. Das NAS meistens nur wöchentlich.