{"id":2505,"date":"2026-04-21T07:43:27","date_gmt":"2026-04-21T06:43:27","guid":{"rendered":"https:\/\/katharina-schmidt-engineering.de\/?p=2505"},"modified":"2026-04-21T07:52:31","modified_gmt":"2026-04-21T06:52:31","slug":"kleine-datensaetze-im-machine-learning","status":"publish","type":"post","link":"https:\/\/katharina-schmidt-engineering.de\/en\/kleine-datensaetze-im-machine-learning\/","title":{"rendered":"L\u00f6sungen f\u00fcr kleine Datens\u00e4tze"},"content":{"rendered":"
Motivation<\/h2>\n\n\n\n
In vielen industriellen Anwendungen ist Datenverf\u00fcgbarkeit die zentrale Einstiegsh\u00fcrde: zu wenig, teure und schwer zu beschaffende Daten.\u00a0<\/p>\n\n\n\n
Historische Daten sind h\u00e4ufig nur begrenzt verf\u00fcgbar, unvollst\u00e4ndig oder gar nicht vorhanden. Eine systematische Datenerhebung ist kostenintensiv \u2013 sie erfordert spezialisierte Hardware, Zeit und personelle Ressourcen. Auch das Labeling (Erstellung von Ground Truth) bindet Kapazit\u00e4ten, die im operativen Gesch\u00e4ft oft fehlen.\u00a0Zus\u00e4tzlich sind relevante Ereignisse wie Oberfl\u00e4chenfehler, Risse oder fehlende Komponenten typischerweise selten. <\/p>\n\n\n\n
Das f\u00fchrt zu stark unausgeglichenen Datens\u00e4tzen, sogenannter Class Imbalance<\/strong>.<\/p>\n\n\n\n
Die Konsequenz: Modelle lernen dominante Klassen zu bevorzugen und erreichen scheinbar gute Metriken, w\u00e4hrend sie die eigentlich kritischen F\u00e4lle nicht zuverl\u00e4ssig erkennen. <\/p>\n\n\n\n
\n
Ein Modell, das \u201eimmer OK\u201c vorhersagt, kann hohe Accuracy erreichen \u2013 und ist dennoch unbrauchbar.<\/strong><\/p>\n<\/blockquote>\n\n\n\n
Die Herausforderung hier lautet also: Wie lassen sich robuste Modelle trainieren, wenn Datenmenge und -qualit\u00e4t stark begrenzt sind? Ein naheliegender Ansatz ist Data Augmentation oder die Erzeugung von synthetischen Daten mit Simulationen. Im Folgenden m\u00f6chte ich auf diese und weitere Techniken im Umgang mit kleinen Datens\u00e4tzen f\u00fcr Supervised Learning eingehen.<\/p>\n\n\n\n
Data Augmentation<\/h2>\n\n\n\n
Mit Data Augmentation k\u00f6nnen Trainingsdaten k\u00fcnstlich erweitert werden, der Datensatz wird sozusagen aufgeblasen, um ein l\u00e4ngeres und dadurch tieferes Training zu erm\u00f6glichen. In der Praxis geschieht das oft durch Transformationen bestehender Daten, z. B.:<\/p>\n\n\n\n
\n
Rotation<\/li>\n\n\n\n
Translation<\/li>\n\n\n\n
Hinzuf\u00fcgen von Rauschen<\/li>\n\n\n\n
Skalierung<\/li>\n\n\n\n
Helligkeit und Kontrast<\/li>\n<\/ul>\n\n\n\n
Ziel ist es, die effektive Datenmenge zu erh\u00f6hen und das Modell robuster gegen\u00fcber Variationen zu machen. Dabei basiert das Konzept Data Augmentation auf der Annahme, dass das Label unter der Tranformation erhalten bleibt, also konsistent mit dem Input zusammen transformiert wird. <\/p>\n\n\n\n
In der Praxis bedeutet das, dass bei Klassifikation das Label, also die Klassenzuordnung identisch bleibt und bei strukturierten Labels (z. B. Bounding Boxes, Segmentierungsmasken), dass die selben Transformationen auch auf das Label angewendet werden m\u00fcssen.<\/p>\n\n\n\n
Beispiele:<\/p>\n\n\n\n
\n
Input Bild wird rotiert \u2192 Bounding Box wird mitrotiert \u00a0<\/li>\n\n\n\n
Input Bild wird gespiegelt \u2192 Segmentierungsmaske wird gespiegelt<\/li>\n<\/ul>\n\n\n\n
Nur dann decken sich die Darstellung eines Objekts im Inputbild und das Label im Ground Truth Bild noch miteinander. Ansonsten wird das Loss (der Fehler zwischen Prediction und Ground Truth) verzerrt und das Training f\u00fchrt zu keinem sinnvollen Ergebnis<\/p>\n\n\n\n
Durch Data Augmentation kann das Modell eine bessere Generalisierung lernen und die Gefahr in ein Overfitting Problem zu laufen wird reduziert. Overfitting<\/strong> bezeichnet ein Auswendig lernen des Modells anhand der Trainingsdaten. Das Modell performt dann sehr gut auf den bekannten Trainingsdaten, versagt aber bei unbekannt Testdaten oder in der tats\u00e4chlichen Anwendung.<\/p>\n\n\n\n
Synthetische Daten<\/h2>\n\n\n\n
Synthetische Daten gehen einen Schritt weiter als Data Augmentation: Statt bestehende Daten zu transformieren, werden neue Trainingsdaten vollst\u00e4ndig k\u00fcnstlich erzeugt. Dabei kann man einen bestehenden kleinen Datensatz mit weiteren Daten erweitern oder einen kompletten synthetischen Datensatz f\u00fcr Training und Testing erzeugen. Typische Ans\u00e4tze f\u00fcr die Generierung von synthetischen Daten sind Simulationen (z. B. physikbasierte Renderings), Game Engines und 3D-Umgebungen oder auch generative Modelle. In den gro\u00dfen LLMs wie ChatGPT, Gemini oder Claude werden ebenfalls solche generativen Modelle zur Bilderzeugung verwendet.<\/p>\n\n\n\n
Das Ziel ist dabei gezielt Daten zu erzeugen, die im realen Datensatz selten oder schwer erfassbar sind, z. B. seltene Defekte oder spezielle Beleuchtungen in einzelnen Fertigungslinien.<\/p>\n\n\n\n
Ein zentraler Vorteil ist die volle Kontrolle \u00fcber den Datensatz. So kann die Datenmenge beliebig skaliert werden, je nach Anwendungsfall und Modellgr\u00f6\u00dfe. Generell gilt je gr\u00f6\u00dfer ein Modell ist (also je mehr Gewichte es hat), desto gr\u00f6\u00dfer sollte der Datensatz sein, aber desto l\u00e4nger dauert das Training dann auch. Ein weiterer Vorteil an Simulationsdaten ist, dass die Ground Truth Label automatisch verf\u00fcgbar sind und man sich die zeitaufwendige Annotation erspart. Der gr\u00f6\u00dfte Nachteil synthetischer Daten ist allerding die sogenannte Reality Gap<\/strong>:<\/p>\n\n\n\n
\n
Die Verteilung synthetischer Daten unterscheidet sich von realen Daten.<\/strong><\/p>\n<\/blockquote>\n\n\n\n
Typische Ursachen daf\u00fcr sind die vereinfachte Physik in Simulationen, unrealistische Texturen oder Materialien, fehlendes Sensorrauschen oder optische Artefakte. Einige dieser Randbedingungen wie das Sensorrauschen kann man in Simulationen mit einflie\u00dfen lassen, jedoch ist es sehr immer noch schwierig die Realit\u00e4t dadurch korrekt abzubilden und alle Einzelf\u00e4lle mit einzubeziehen. Synthetische Daten k\u00f6nnen also Datenengp\u00e4sse adressieren, l\u00f6sen jedoch nicht automatisch das Problem der Generalisierung.<\/p>\n\n\n\n
Transfer Learning<\/h2>\n\n\n\n
Transfer Learning verfolgt einen anderen Ansatz als Data Augmentation oder synthetische Daten. Statt neue Daten zu erzeugen, wird bereits gelerntes Wissen aus bestehenden Modellen wiederverwendet. Dabei wird ein Modell, das auf gro\u00dfen Datens\u00e4tzen (z. B. ImageNet) trainiert wurde (sogenanntes Pre-Training), auf eine neue, meist kleinere Zielaufgabe angepasst. Diese oben-drauf trainieren nennt man Fine Tuning oder oder Transfer Learning, da ja neues Wissen in das Modell transferiert wird, aber altes Grundlagenwissen trotzdem erhalten bleibt. Das Ziel ist es, die bereits gelernten generischen Features, wie Kanten, Texturen oder grundlegende Formen zu nutzen und nur die aufgabenspezifischen Teile des Modells neu zu traineren.<\/p>\n\n\n\nPrinzip von Pre-Training und anschlie\u00dfendem Transfer Learning<\/figcaption><\/figure>\n\n\n\n
Dabei kann ein Modell auch auf einer Deketionsausgabe vortrainiert und dann hinterher f\u00fcr eine Segmentierungsaufgabe nachtrainiert werden. Dazu ersetzt man die letzten Layer in der Architektur und ver\u00e4ndert somit das Ausgabeformat von BoundingBoxen und Klassen hin zu Masken.<\/p>\n\n\n\n
Eine weitere h\u00e4ufig genutzte Technik im Transfer Learning ist das Einfrieren<\/strong>. Dabei werden die Gewichte von vordefinierten Layern (z.B. den ersten Layern, welche f\u00fcr die Feature Extraktion zust\u00e4ndig sind) festgesetzt und w\u00e4hrend des Transfer Learning nicht mehr angepasst. Es werden also nur die restlichen Layer weiter hinten angepasst. Dadurch verk\u00fcrzt sich die Trainingszeit, da ja auf bereits vorhandene Gewichte zur\u00fcckgegriffen werden kann.<\/p>\n\n\n\n
Grenzen und Limitationen von Tranfer Learning<\/h3>\n\n\n\n
Leider ist auch Transfer Learning ist kein Selbstl\u00e4ufer. H\u00e4ufige Probleme sind:<\/p>\n\n\n\n
\n
Dom\u00e4nenunterschiede<\/strong>: Trainingsdaten des Foundation Modells unterscheiden sich stark von der Zielaufgabe \u00a0<\/li>\n\n\n\n
zu aggressives Fine-Tuning<\/strong>: vortrainierte Features werden \u201e\u00fcberschrieben\u201c \u00a0<\/li>\n\n\n\n
zu wenig Anpassung<\/strong>: Modell bleibt zu nah an der urspr\u00fcnglichen Aufgabe \u00a0<\/li>\n<\/ul>\n\n\n\n
Das Modell kann dann das vorhandene Wissen nicht mit den neuen Trainingsdaten verkn\u00fcpfen und dementsprechend schlecht schneidet es in Tests ab. W\u00e4hrend des Trainings kann man das aber gezielt \u00fcberpr\u00fcfen, z.B. mit einem zus\u00e4tzlich Validierungsdatensatz, welcher neben den neue auch alte Daten enth\u00e4lt.<\/p>\n\n\n\n
Fazit<\/h2>\n\n\n\n
Kleine Datens\u00e4tze sind kein Randproblem, sondern der Regelfall in industriellen Machine-Learning-Anwendungen. Leider gibt es keine Patentl\u00f6sung f\u00fcr dieses Problem, sondern nur eine Kombination aus Methoden, deren Wirksamkeit stark vom konkreten Anwendungsfall abh\u00e4ngt. <\/p>\n\n\n\n
Data Augmentation ist eine sinnvolle M\u00f6glichkeit, solange die gew\u00e4hlten Transformationen reale Invarianten widerspiegeln. Andernfalls f\u00fchrt sie zu systematischen Verzerrungen und verschlechtert die Modellleistung. Synthetische Daten erweitern den L\u00f6sungsraum deutlich, sto\u00dfen jedoch an die fundamentale Grenze des Reality Gaps. Ihre Qualit\u00e4t bemisst sich nicht an der Menge, sondern an der \u00dcbereinstimmung mit der realen Datenverteilung. Transfer Learning ist in vielen Szenarien der praktikabelste Ansatz, da es erm\u00f6glicht, vorhandenes Wissen aus gro\u00dfen Datens\u00e4tzen zu nutzen und mit begrenzten Daten robuste Modelle weiter zu trainieren. Allerdings erfordert es ein kontrolliertes Fine-Tuning und ein klares Verst\u00e4ndnis der Dom\u00e4nenunterschiede, um die oben benannten Fallstricke zu vermeiden.<\/p>\n\n\n\n
![\"\"](\"https:\/\/mll2xneynph8.i.optimole.com\/cb:Y_xD.62c\/w:auto\/h:auto\/q:mauto\/f:best\/https:\/\/katharina-schmidt-engineering.de\/wp-content\/uploads\/2026\/04\/TransferLearningPrinzip.png\"){kind=spacer}