@Dude Danke für die Tipps. Die Tools waren mir bekannt, auch wenn ich sie noch nicht selber getestet habe. Man kann ja nicht alles ausprobieren 🙂
Unbound bot sich hier einfach als Test für die LXC Container an.
NanoPi R5S - Hardware
-
eMMC
Ich bin kein Fan von eMMC Speicher, hier der Grund.
root@FriendlyWrt:~# dd if=/dev/zero of=sd.img bs=1M count=2048 conv=fdatasync 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB, 2.0 GiB) copied, 39.4746 s, 54.4 MB/sFür ein OpenWrt Gerät evt. ausreichend, mich reizt so was nicht. Zu langsam...
Verbaut ist ein 8GB eMMC-Modul.
USB3
An USB3 eine Samsung Portable SSD T5 angeschlossen.
Disk /dev/sda: 465.76 GiB, 500107862016 bytes, 976773168 sectors Disk model: Portable SSD T5 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 33553920 bytes Disklabel type: gpt Disk identifier: EFF8AC7F-C9F0-4E7C-88B7-28FBA65213B9Und kurz ein kleiner Test
root@FriendlyWrt:/tmp/test/home/frank# dd if=/dev/zero of=sd.img bs=1M count=2048 conv=fdatasync 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB, 2.0 GiB) copied, 9.57794 s, 224 MB/sLaut Samsung Webseite kann die SSD bis zu 540 MB/s. Laut Wiki soll die USB3 Schnittstelle 3.2 Gen 1 sein.
USB: two USB 3.2 Gen 1 Type-A portsLaut Wiki wären dann maximal 400 MB/s möglich.
-
Hallo Frank,
Stromaufnahme sieht gut aus, ist das bei den Standartwerten 600MHz-1992MHz conservative governor gemessen ?
wie sieht das ganze aus wenn der R5S im idle Nachts über bei 408MHz läuft,lässt sich im Kernel Manager einstellen
http://192.168.x.x/cgi-bin/luci/admin/services/cpufreqWäre interessant zu wissen wie schnell die Samsung Portable SSD T5 am Desktop PC ist, ich komme mit einer 3,5zoll HDD auf höhere werte ~250mb/s
Hier mal noch meine Erfahrungen zum R5S:
Temperaturen sind bei mir ähnlich 38-42°C,
( hab den R5S auf den Dachboden an den Switch verfrachtet, tagsüber Umgebungstemperatur größer 30-35°C steigt die Temperatur im R5S auch nicht über 42°C )USB3.0 - SSD
Hatte zu erst zum testen eine alte SSD Patriot Blast 240GB, SATA mit einem USB3.0 Adapter/Controller dran der Controller selbst konnte aber nur ~100mb/sUSB3.0 - HDD 3,5" ( Seagate Expansion Drive, ext4 4k sectoren )
root@FriendlyWrt:/# dd if=/dev/zero of=/mnt/nvme0n1p1/ARCHiV/test.dat bs=1M count=2048 oflag=direct,nonblock 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB, 2.0 GiB) copied, 8.17761 s, 263 MB/sHDD Spindown lässt sich per hd-idle realisieren
die 3,5 Zoll festplatte erreicht am Desktop PC ähnliche werteM.2 - SSD ( WD Blue SN570 )
root@FriendlyWrt:/# dd if=/dev/zero of=/mnt/nvme0n1p1/test.dat bs=1M count=2048 oflag=direct,nonblock 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB, 2.0 GiB) copied, 6.43451 s, 334 MB/szu erwähnen wäre hier mit dem 5.10.66 Kernel hatte ich Probleme, Festplatte war zwar noch erreichbar aber 500kb/s oder weniger
mit dem letzten update auf 5.10.110 läuft es stabil bisher keine Aussetzer oder EinbrücheBackups von der M2 SSD zur USB HDD laufen netto mit ~220mb/s (+/- hdd spinup/down)
Ich denke mal da werden bestimmt auch bald Netzwerktests kommen, hier schon mal meine Erfahrungen dazu
mit einem CAT6 Kabel 1m direkt am Desktop PC spuckt iperf3 ~2Gbit aus
Die Verdrahtung im Haus ist leider schon 25Jahre alt mit CAT5 ohne alle ca. 20m kommen da recht viel fehler Retry's an bei ca 1,5-1,7Gbit
Netto bekomme ich dann über 1Gbit Verbindung 100-110mb/s Download und 95-98mb/s Upload hin
mit 2,5Gbit Verbindung erhöht sich das noch etwas auf ca 140mb/s aber wie gesagt da hab ich zu viele Fehler durch die alten Kabel
die Werte gemessen über nfs
samba ist da langsamer und ging nur mit 60-70mb/s -
@Dude sagte in NanoPi R5S - Hardware:
Stromaufnahme sieht gut aus, ist das bei den Standartwerten 600MHz-1992MHz conservative governor gemessen ?
Hallo @Dude ,
danke für Deine ausführliche Antwort. Eine Menge Infos, die ich erstmal verdauen muss.
Zu dem oben zitierten, ja war alles Standard eingestellt. Also, so wie das Image angekommen ist.
-
@Dude sagte in NanoPi R5S - Hardware:
Wäre interessant zu wissen wie schnell die Samsung Portable SSD T5 am Desktop PC ist, ich komme mit einer 3,5zoll HDD auf höhere werte ~250mb/s
Mit deinen Einstellungen sieht das so aus.
root@FriendlyWrt:/tmp/test/home/frank# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB, 2.0 GiB) copied, 6.45963 s, 332 MB/sUnd an meinem Haupt-PC
[frank-ms7c37 ~]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 Datensätze ein 2048+0 Datensätze aus 2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 3,3454 s, 642 MB/s [frank-ms7c37 ~]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 Datensätze ein 2048+0 Datensätze aus 2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 4,04071 s, 531 MB/s [frank-ms7c37 ~]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 Datensätze ein 2048+0 Datensätze aus 2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 3,53397 s, 608 MB/s -
Das liegt aber mit Sicherheit an den Spezifikationen der USB-Schnittstellen.
NanoPi R5S
[ 8293.564439] usb 8-1: new SuperSpeed Gen 1 USB device number 2 using xhci-hcd [ 8293.589845] usb 8-1: New USB device found, idVendor=04e8, idProduct=61f5, bcdDevice= 1.00 [ 8293.589896] usb 8-1: New USB device strings: Mfr=2, Product=3, SerialNumber=1 [ 8293.589918] usb 8-1: Product: Portable SSD T5 [ 8293.589938] usb 8-1: Manufacturer: SamsungHaupt-PC
[35067.992782] usb 4-1: new SuperSpeed Plus Gen 2x1 USB device number 2 using xhci_hcd [35068.017037] usb 4-1: New USB device found, idVendor=04e8, idProduct=61f5, bcdDevice= 1.00 [35068.017040] usb 4-1: New USB device strings: Mfr=2, Product=3, SerialNumber=1 [35068.017042] usb 4-1: Product: Portable SSD T5 [35068.017043] usb 4-1: Manufacturer: SamsungSuperSpeed Gen 1 vs. SuperSpeed Plus Gen 2x1
Also, nicht fair der Vergleich.
-
ach das oben war mit fdatasync hatte ich nicht mit übernommen,
hatte das mit direct getestet,die 332 MB/s von deiner SSD am USB3.0 und die 334 MB/s von der M2 SSD sehen mir recht gleich,
denke mal die Schnittstellen scheinen hier nicht zu limitierenhatte zwar auch mehr erwartet bei der M2 Schnittstelle, aber habe das erstmal dabei belassen da ich über das Netzwerk nicht schneller drauf zu greifen kann und die Backups erstellen zu einer HDD am USB Port auch ausreichend schnell gingen.
Nachtrag: eben gerade mal noch getestet einmal dd laufen lassen und die Auslastung angeschaut 25% logisch ist ja nur ein Thread und der eine Kern der genutzt wird ist voll ausgelastet, lasse ich dd 4x gleichzeitig laufen bekommt man die CPUs besser ausgelastet jedoch ~400MB/s von den 500 möglichen.
Temperaturen muss ich auch noch mal nach oben korrigieren
liegt aber am Wetter 46-47°C läuft aber noch stabil und Performance ist auch noch da -
@Dude Danke für die Infos. Aktuell liegt mein Augenmerk darauf, mit dem NanoPi R5S meine Proxmox Maschine hier zu ersetzen. Das geht nicht für alles was ich damit mache, aber für das Meiste.
Die Proxmox Maschine verbrät 40 Watt, der NanoPi R5S so ca. 5 - 6 Watt. Bei den aktuellen Energiepreisen lohnt sich das, vor allen Dingen bei einem Gerät was 24/7 läuft.
- Step dabei war, die angeschlossene HDD am USB3-Port als NFS-Freigabe für ein Netzwerk zu benutzen. Das klappt so weit. Probleme bereitete mir, wie man das USB Device beim Start mounten kann. Habe erst mit /etc/fstab rumgemurkst, das ging aber nicht!? Eine Suche im Netz brachte dann den Erfolg.
Datei /etc/config/fstab
config global option anon_swap '0' option anon_mount '0' option auto_swap '1' option auto_mount '1' option delay_root '5' option check_fs '0' config mount option uuid '22323032-f620-4142-b43f-afbc53fc1115' option enabled '1' option target '/mnt/sda1' option fstype 'ext4' option enabled_fsck '0'- Step ist die vollständige IPv6 Funktionalität. Ja, man muss immer ordentlich rum wurschteln, wenn man es nicht 100% durchschaut, aber ich habe es mal wieder hinbekommen
Dazu habe ich die vorhandene Netzwerkbrücke, die beiden LAN-Schnittstellen waren zusammen geschaltet, aufgelöst. Ich brauch zwei verschiedene Netzwerke hier bei mir zu Hause.
-
Da habe ich doch glatt vergessen, das man in den NanoPi R5S eine NVMe SSD einbauen kann
Dann mal los.fdisk -l
Disk /dev/nvme0n1: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors Disk model: Samsung SSD 980 1TB Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 16384 bytes / 131072 bytesWenn ich die NVMe SSD mal mit einem ext4 Filesystem einhänge und dd drüber laufen lasse, sieht das wie folgt aus.
root@FriendlyWrt:/mnt/nvme# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB, 2.0 GiB) copied, 7.71164 s, 278 MB/s root@FriendlyWrt:/mnt/nvme# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB, 2.0 GiB) copied, 7.89502 s, 272 MB/sWeit weg, von dem was da gehen würde, da ich vermute das nur eine PCIe Lane angeschlossen ist, ist das aber nachvollziehbar.
-
-
@Dude Habe das aktuelle Testimage
sd-friendlywrt-22.03-docker.....mal auf eine SD-Karte gebügelt und getestet.
root@FriendlyWrt:/mnt/nvme# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB, 2.0 GiB) copied, 8.21167 s, 262 MB/sNe, das bringt gar nichts. Ich denke auch das da nicht viel mehr gehen wird. Aber 260MB/s als Speichermöglichkeit IN dem Gerät, ist ja auch nicht so schlecht.
-
Ich habe den NanoPi R5S heute Morgen in Betrieb genommen und den Proxmox mal geparkt.
Die LAN-Buchsen sind getrennt, hatte ich schon geschrieben. Einmal LAN, einmal DMZ.
Dazu ein Samba-Server, der am LAN hängt und mir eine USB-Platte als NAS zur Verfügung stellt. Warum Samba? Der NFS-Server war aus Geschwindigkeitsgründen nicht nutzbar. Der Samba-Server ist auch nicht so doll, da ich aber das NAS nur als Datengrab benutze, sollte das passen.
Außerdem ist noch eine NVMe-SSD verbaut, die mir als Datensicherung des Samba-Verzeichnisses dient. Gesichert werden die Daten mittels Restic und eines Cron Jobs vollautomatisch. So wie ich das schon Jahre mache.
Die Firewall habe ich so eingestellt, wie ich mir das wünsche. Von DMZ kein Zugriff aufs LAN, aber gerne anders rum. Ansonsten nicht so viel. Die Regeln zum Zugriff über WAN muss ich noch raus werfen!
Jetzt werde ich das die Woche mal ausgiebig testen, ob das so für mich passt. Wenn das läuft, werde ich an einem WE die Version auf ein aktuelleres Image upgraden, natürlich mit der Docker-Version
Bis jetzt gefällt mir das, auch wenn es natürlich deutlich Einschränkungen gegenüber eines vollwertigen Rechners hat. Aber, in heutigen Zeiten ist jedes gesparte Watt wichtig - für die Geldbörse!
-
Mal ein erster iperf3 Test
root@FriendlyWrt:~# iperf3 -c 192.168.3.12 Connecting to host 192.168.3.12, port 5201 [ 5] local 192.168.3.1 port 38496 connected to 192.168.3.12 port 5201 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 240 MBytes 2.00 Gbits/sec 0 233 KBytes [ 5] 1.00-2.00 sec 249 MBytes 2.09 Gbits/sec 0 262 KBytes [ 5] 2.00-3.00 sec 248 MBytes 2.08 Gbits/sec 0 262 KBytes [ 5] 3.00-4.00 sec 249 MBytes 2.08 Gbits/sec 0 262 KBytes [ 5] 4.00-5.00 sec 248 MBytes 2.08 Gbits/sec 0 262 KBytes [ 5] 5.00-6.00 sec 249 MBytes 2.09 Gbits/sec 0 262 KBytes [ 5] 6.00-7.00 sec 248 MBytes 2.08 Gbits/sec 0 262 KBytes [ 5] 7.00-8.00 sec 244 MBytes 2.04 Gbits/sec 0 262 KBytes [ 5] 8.00-9.00 sec 248 MBytes 2.08 Gbits/sec 0 262 KBytes [ 5] 9.00-10.00 sec 242 MBytes 2.03 Gbits/sec 0 478 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 2.40 GBytes 2.07 Gbits/sec 0 sender [ 5] 0.00-10.00 sec 2.40 GBytes 2.06 Gbits/sec receiver iperf Done. root@FriendlyWrt:~# iperf3 -R -c 192.168.3.12 Connecting to host 192.168.3.12, port 5201 Reverse mode, remote host 192.168.3.12 is sending [ 5] local 192.168.3.1 port 38500 connected to 192.168.3.12 port 5201 [ ID] Interval Transfer Bitrate [ 5] 0.00-1.00 sec 270 MBytes 2.26 Gbits/sec [ 5] 1.00-2.00 sec 277 MBytes 2.33 Gbits/sec [ 5] 2.00-3.00 sec 274 MBytes 2.30 Gbits/sec [ 5] 3.00-4.00 sec 273 MBytes 2.29 Gbits/sec [ 5] 4.00-5.00 sec 267 MBytes 2.24 Gbits/sec [ 5] 5.00-6.00 sec 268 MBytes 2.25 Gbits/sec [ 5] 6.00-7.00 sec 276 MBytes 2.32 Gbits/sec [ 5] 7.00-8.00 sec 274 MBytes 2.29 Gbits/sec [ 5] 8.00-9.00 sec 275 MBytes 2.31 Gbits/sec [ 5] 9.00-10.00 sec 274 MBytes 2.30 Gbits/sec - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.01 sec 2.67 GBytes 2.29 Gbits/sec 10599 sender [ 5] 0.00-10.00 sec 2.66 GBytes 2.29 Gbits/sec receiver iperf Done.Zur Erklärung, mein Haupt-PC hängt mit 10G an einem Switch, an diesem Switch ist der NanoPi R5S angeschlossen (2,5G). Der Test erfolgte auf der Konsole des NanoPis.
Nicht so schlecht
-