Nach-Tests an der Universität zu Köln

Nach den Erfahrungen aus der Lehrveranstaltung (vorgestellt im vorherigen Blog-Beitrag) wurden mit dem Campusnetz an der Universität zu Köln (UzK) weitere Tests durchgeführt. Dabei handelt es sich um synthetische Tests, bei denen zwar dieselben Geräte wie aus der Lehrveranstaltung genutzt, aber ein reales Nutzungsverhalten gegen simulierte Lasttests getauscht wurde. Die Tests bestätigen einige Erfahrungen aus der Lehrveranstaltung, die insbesondere Einschränkungen bei einer steigenden Anzahl von 5G-Clients zeigten.

Methodik

Die Lasttests werden mit Hilfe einer Server-Client-Software durchgeführt. Dabei verbinden sich alle Clients mit dem Server von dem aus ein Download (Daten via TCP vom Server zum Client) oder Upload (Daten via TCP vom Client zum Server) für fünf Minuten gestartet wird. Alle Clients führen den Testlauf zur selben Zeit durch, dessen Start wird durch den Server zum gleichen Zeitpunkt bei allen Clients ausgelöst.

Schematischer Versuchsaufbau der synthetischen Lasttests mit ein oder zwei Antennen und einem oder mehreren 5G-Clients.

Das Übersichtsbild zeigt den Aufbau für die Testläufe im 5G-Campusnetz. Der Aufbau ist ähnlich zu der Lehrveranstaltung, wobei hier nur ein Laptop als Endgerät pro FRITZ!Box genutzt wird. Dadurch ist Anzahl an Laptops und 5G-Clients identisch. Die Anzahl an Clients wird durch das Einschalten der FRITZ!Box Router je nach gewünschter Anzahl gesteuert.

Der reale Versuchsaufbau.

Der größte Unterschied zur Lehrveranstaltung ist die räumliche Dichte der einzelnen 5G-Clients, da diese deutlich höher als im genutzten Praktikumsraum ist. Die genutzten Geräte, d.h. Laptops, Router und Server, sind allerdings identisch und auf demselben Software-Stand wie in der Lehrveranstaltung.

Ergebnisse der Testdurchläufe

Es wurden mehrere Testdurchläufe mit Veränderungen am Testaufbau vorgenommen. Zum einen wurde das 5G-Campusnetz mit einer als auch zwei gNodeBs (d.h. Antennen) getestet. Zum anderen wurde die in der Lehrveranstaltung als Backup genutzte WLAN-Lösung verwendet. Das WLAN ersetzt dabei alle 5G-Komponenten, sodass lediglich eine Verbindung zwischen Server, WLAN und Laptops besteht. Es wurden die in den Laptops verbauten handelsüblichen WLAN-Module verwendet.

Je nach Systemaufbau wurde mit unterschiedlichen Mengengerüsten an (5G-)Clients getestet, wobei hier 1, 2, 4, 8, 15, 20, 22, 23, 24, 25 und 30 unterschiedlich kombiniert wurden. Die Tests wurden gestartet, sobald sich alle Clients erfolgreich mit dem Server verbinden konnten.

Ein Testdurchlauf besteht dabei aus mehreren Schritten: zunächst wird die entsprechende Anzahl an FRITZ!Box Geräten eingeschaltet und mit der Anzahl an aktiven User Equipment (UE) Sitzungen im 5G Core überprüft. Dann wird ein Down- oder Upload durchgeführt und danach jeweils der fehlende Up- oder Download. Ob mit Down- oder Upload gestartet wird, ist dem Zufall überlassen.

Bei Durchläufen mit Abbrüchen (alle Clients verlieren die Verbindung) während des Tests, wurden die Durchläufe wiederholt und in der finalen Analyse aneinandergehängt. Das bedeutet: alle Messwerte zum Upload wurden aus allen Durchläufen mit selber Client-Anzahl in eine Liste zusammengeführt. Diese Liste enthält dann pro Sekunde einen Messwert in Megabit für diese Sekunde. Dasselbe gilt auch für die Messwerte aus den Downloads. Jeder Durchlauf wird mit einer Länge von fünf Minuten gerechnet. Ein Abbruch nach zwei Minuten enthält also drei Minuten lang null-Werte.

Aus den gesammelten Messwerten wurden dann der Median (Linie) und das obere und untere Quartil (eingefärbte Bereiche) errechnet. In den farbigen Bereichen befanden sich also die Hälfte aller Messwerte der Clients mit den angegebenen Parametern. Dieses Vorgehen schließt aus, dass Ausreißer und einzelne Verbindungsabbrüche von Clients die Messwerte für die Bandbreite beim Down- oder Upload beeinträchtigen können. Die Skalen zu den Werten der Bandbreite sind für eine bessere Sichtbarkeit logarithmisch skaliert.

Die letzte Grafik zeigt die Rate an Messwerten mit einem Wert von null gegenüber allen Messwerten mit einem Wert größer als null. Dabei ist die Annahme, dass bei einem Messwert von null in der dazugehörigen Sekunde keine Verbindung zwischen Client und Server bestand, und zwar vermutlich aufgrund bestehender Probleme in der Übertragung durch 5G bzw. WLAN. Die Menge an Messwerten wurde nach Down- und Upload getrennt aufgeteilt und alle Messwerte von allen Clients zusammengefügt. So deutet ein Wert von 35 % beispielsweise darauf hin, dass bei zwei angehängten Durchläufen mit 600 Messwerten 390 Messwerte über null und 210 Messwerte von genau null vorkamen (Vergleich: 600 Sekunden entspricht zehn Minuten).

Ergebnisse der Messreihen, aufgeschlüsselt nach Bandbreite beim Download, Bandbreite beim Upload und Verbindungsstabilität beim Down- und Upload.

Diskussion der Ergebnisse

Bandbreite

Zu erwarten war eine Verringerung der Bandbreite mit steigender Anzahl an Clients, sowohl beim WLAN als auch im 5G-Campusnetz. Die insgesamt verfügbare Bandbreite teilt sich auf mehr Clients auf, sodass pro Client weniger Bandbreite zur Verfügung steht. Dieses Verhalten ist sowohl beim Down- als auch Upload zu erkennen, wobei hier insbesondere beim Download die Verwendung einer einzigen Antenne im 5G-Netz eine bessere Bandbreite pro Client zur Verfügung stellt.

Generell liefert ein gNodeB bei gleicher Anzahl an Clients bessere Messwerte als zwei gNodeBs, kann aber scheinbar nicht mehr als 23 Clients ohne Probleme versorgen. Zwei gNodeBs schaffen zwar mehr Clients, liefern aber durchweg weniger Bandbreite pro Client. WLAN liefert immer eine Bandbreite, die deutlich über der Bandbreite des 5G-Campusnetzes liegt. Das bestätigt die Stichproben aus der Lehrveranstaltung, bei denen ab 20 FRITZ!Box Geräten die E-Assessments auf den angeschlossenen Laptops deutlich längere Ladezeiten bei der Benutzung zeigten. Diese traten beim Test mit 60 Laptops im WLAN-Netz zwar auch auf, aber die höheren Ladezeiten bei der Benutzung waren in der Stichprobe nur auf einzelnen Laptops direkt ersichtlich.

Was auffällt, ist ein großer Unterschied zwischen den Bandbreiten im Down- und Upload. Erwartungsgemäß wären die Messwerte für den Download höher als beim Upload, allerdings zeigen sowohl das WLAN als auch das 5G-Netz hier die umgekehrte Reihenfolge. Warum dieser Effekt aufgetreten ist, konnte nicht abschließend geklärt werden. Tests mit kabelgebundenen Verbindungen und denselben Laptops ergaben erwartbare Werte: bei einer 1GBit/s Kabelverbindung wurden ca. 990 MBit/s sowohl im Up- als auch Download gemessen.

Verlustrate

Bei der Verlustrate wären in allen Fällen möglichst niedrige Werte zu begrüßen. Hier zeigt sich beim Einsatz einer geringen Anzahl an Clients, insbesondere bei WLAN, ein Problem in der Netzwerkverbindung oder Software. Durch die hohen Bandbreiten scheint eine Komponente im System zu Ausfällen zu neigen. Bei WLAN zeigt sich dies durch Absturz der Mess-Software bei Verwendung von nur einem oder zwei Clients. Die Verlustraten bei vier oder weniger Clients sind also entgegen der Erwartung sehr schlecht, aber die Ursache ist vermutlich nicht mit der eigentlichen Datenübertragung via WLAN oder 5G zu erklären. Stattdessen vermuten wir technische Probleme in Treibern oder Netzwerkkarten an einer unbekannten Stelle im Gesamtsystem. Die Messwerte von vier oder weniger Clients sind nur der Vollständigkeit halber aufgeführt, lassen aber keine weiteren Rückschlüsse im Kontext dieser Tests zu.

Hauptsächlich fällt auf, dass bei zwei gNodeBs die Verlustrate deutlich höher ist als bei nur einer Antenne bzw. im WLAN. Insbesondere beim Upload steigt die Verlustrate mit der Anzahl an Clients linear an. Hier zeigen sich möglicherweise Effekte aufgrund mangelnder Koordination von Paketübertragungen zwischen den Antennen, da diese jeweils ein eigenständiges Radio Access Network (RAN) bilden.

Dies erklärt auch die Erfahrung mit den Netzwerkabbrüchen ab 20 Clients aus der Lehrveranstaltung: bei circa 20 5G-Clients ist die Verlustrate über 50 % – die hohe Anzahl an verlorenen Paketen führt vermutlich zu Verbindungsabbrüchen auf Applikationsebene. Außerdem sind Einschränkungen bei der Latenz möglich, wenn fehlende Pakete immer wieder übertragen werden müssen und es in Folge länger dauert, bis eine Nachricht vollständig übermittelt ist.

Durch die Messart der Verlustrate ist allerdings nicht ersichtlich wie genau sich die Fehler nun auf einzelne Clients verteilen. Aufgrund der aggregierten Werte kann nicht erkannt werden, ob viele Clients kurzzeitig ausfallen oder wenige Clients für lange Zeit.

Fazit

Die verwendeten Lasttests simulieren zwar eine wenig der Praxis entsprechende Nutzungsweise von gleichzeitig auf allen Clients stattfindenden Down- oder Uploads. Aber sie bestätigen die Erfahrungen aus den Praxis-Tests (E-Assessments) mit echtem Nutzerverhalten durch Studierende in einer Praxis-Testumgebung. Generell hat sich die Bandbreite durch das 5G-Netz schlechter erwiesen, als durch die schon länger verbreitete WLAN-Technologie im 5GHz-Band. Die Ausfallrate, insbesondere bei mehreren Antennen, ist ebenfalls schlechter. Leider werden aber gerade in den Bedarfsszenarien der Universität zu Köln mehrere Antennen benötigt, um die hohe Anzahl an Clients bedienen zu können.