Bestärkendes Lernen (Reinforcement Learning) löst dynamische Entscheidungsprobleme durch Interaktion eines Agenten mit seiner Umwelt. Im Gegensatz zu überwachten Lernverfahren basiert die Optimierung nicht auf vorgegebenen Zielwerten, sondern auf einem mathematisch definierten Belohnungssignal im Rahmen von Markov-Entscheidungsprozessen (MDP).
In unseren Industrieprojekten gliedern wir RL-Systeme strikt in vier mathematische Komponenten: Agent, Umgebung (Environment), Zustand (State) und Belohnung (Reward). Der Agent beobachtet den aktuellen Zustand s t, wählt eine Aktion a t und erhält von der Umgebung den Folgezustand s t+1 sowie eine skalare Belohnung r t. Ziel ist die Maximierung des diskontierten Gesamtertrags.
Im Unterschied zu unüberwachten Lernansätzen, die ausschließlich Strukturen in Datensätzen suchen, erfordert RL eine kontinuierliche Rückkopplungsschleife. Zur Bewältigung hochdimensionaler Zustandsräume koppeln wir Wertfunktionen an neuronale Netze für Deep RL. Grundlegende Mechanismen hierzu beschreibt unser Überblick zum Maschinellen Lernen. Alle relevanten Begriffe sind zudem im Fachglossar der ML-Begriffe dokumentiert.
Im Jahr 2023 haben wir die Steuerung von 40 autonomen Transportfahrzeugen (FTS) in einem Logistikzentrum von einer starren SPS-Regelbasierung auf ein Deep Q-Network (DQN) umgestellt. Das alte System erzeugte bei Spitzenlasten Engpässe an den Hauptkreuzungen und führte zu unnötigen Leerfahrten.
Wir haben die Hallenbelegung und Akkuladezustände als kontinuierlichen Zustand definiert. Die Aktionen umfassten diskrete Fahrt- und Ausweichbefehle. Als Belohnungsfunktion wählten wir eine Kombination aus negativer Strafe pro verstrichener Zeiteinheit und hohem positiven Wert bei erfolgreicher Auftragsübergabe.
Nach 600.000 Trainings-Episoden in einer Simulationsumgebung haben wir den Algorithmus auf die physische Anlage übertragen. Der Gesamtenergieverbrauch der Flotte sank um exakt 18,4 %, während die durchschnittliche Transportzeit pro Palette um 11,5 Minuten reduziert wurde.
Nach unserer Erfahrung liegt der Schlüssel zum Erfolg in einer präzisen Belohnungsmodellierung. Antworten auf organisatorische Fragen zur Einführung finden Sie in unseren Antworten zu ML-Konzepten.
Wir setzen primär epsilon-greedy-Strategien mit zeitlicher Begrenzung oder Entropy-Regularisierung ein, um die Exploration schrittweise zugunsten gezielter Ausnutzung bekannter Werte zu reduzieren.
Richtlinienbasierte Ansätze wie PPO oder SAC sind zwingend erforderlich, wenn Aktionen kontinuierliche Werte darstellen, beispielsweise bei präzisen Drehmomentsteuerungen in der Robotik.
Die Leistungsfähigkeit wird über die kumulierte Belohnung in Test-Episoden innerhalb einer Simulationsumgebung ermittelt; methodische Details beschreibt die Evaluierung von Machine Learning Modellen.
Kontaktieren Sie unser Ingenieursteam für eine technische Bewertung Ihrer Steuerungs- und Regelungsaufgabe. Wir prüfen Ihre Prozessdaten, definieren passende Belohnungsfunktionen und entwickeln simulationsbasierte Testumgebungen für Ihre Anwendung.