Loading…
Deep reinforcement learning framework to optimize energy supply for electric earthwork processes
Skaufel, Theodor Svennevig
Diesel-powered earthwork processes are responsible for a considerable portion of global greenhouse gas emissions. Electrification of earthmoving machines is gener- ally considered the solution to achieve zero-emission earthwork processes. However, new routines, flexible scheduling, and coordination of smart operations are required to achieve e cient electric earthwork processes [1]. Furthermore, e cient charg- ing of electric earthmoving machinery requires a purpose-built high-power charging infrastructure. The industry regards battery energy storage systems (BESS) as a potential solution to enable e cient high-power charging while avoiding unneces- sary upgrades to the distribution network. Therefore, the energy supply has been identified as a significant challenge.
Electrification is a recent development in the field of earthwork and is currently not thoroughly researched. Hence, the factors that a↵ect the energy consumption of electric earthmoving machines are underspecified. Furthermore, previous modeling e↵orts were identified as case-specific and do not o↵er generalizability. Therefore, a demand for a generalizable earthwork optimization framework that can handle uncertainties with underspecified influencing factors was identified.
This thesis proposes a novel deep reinforcement learning framework to optimize energy supply for electric earthwork processes by scheduling BESS operations in coordination with the energy consumption and productivity of electric earthmoving machines. The purpose of this framework is to serve as a decision support tool for earthwork contractors to identify new routines that can increase earthwork e ciency and facilitate planning and bidding processes.
The results demonstrate the framework’s performance in developing optimized and generalizable decision strategies without relying on external data from existing earth- work projects. Furthermore, the adaptability and scalability of the framework are demonstrated by applying it to various use cases and scenarios with multiple earth- moving machines. The framework is validated by applying it to a case study to compare its performance with data recorded from an actual electric earthwork site.
This thesis builds on existing methods developed to solve problems in the earthwork literature and extends existing knowledge by combining energy optimization meth- ods in related fields to fill the knowledge gap regarding the optimization of electric earthwork processes. Furthermore, this project adds to the field of research aimed at the development of real-world applications of reinforcement learning-based systems by bridging the gap between computer science and energy engineering.
Dieselbetriebene Erdbauverfahren sind für einen erheblichen Teil der globalen Treibhausgasemissionen verantwortlich. Die Elektrifizierung von Erdbewegungsmaschinen gilt allgemein als Lösung für emissionsfreie Erdbauprozesse. Allerdings sind neue Routinen, eine flexible Planung und die Koordination intelligenter Operationen erforderlich, um effiziente elektrische Erdbauprozesse zu erreichen [1]. Darüber hinaus erfordert das effiziente Laden von elektrischen Erdbewegungsmaschinen eine speziell entwickelte Hochleistungs-Ladeinfrastruktur. Die Industrie betrachtet Batteriespeichersysteme (BESS) als mögliche Lösung, um ein effizientes Hochleistungsladen zu ermöglichen und gleichzeitig unnötige Aufrüstungen des Verteilnetzes zu vermeiden. Daher wurde die Energieversorgung als wesentliche Herausforderung identifiziert. Die Elektrifizierung ist eine junge Entwicklung im Erdbau und derzeit noch nicht gründlich erforscht. Daher sind die Faktoren, die den Energieverbrauch elektrischer Erdbewegungsmaschinen beeinflussen, unterspezifiziert. Darüber hinaus wurden frühere Modellierungsbemühungen als fallspezifisch identifiziert und bieten keine Generalisierbarkeit. Daher wurde ein Bedarf an einem verallgemeinerbaren Erdbauoptimierungsrahmenwerk identifiziert, das mit Unsicherheiten mit unterspezifizierten Einflussfaktoren umgehen kann. Diese Arbeit schlägt ein neuartiges Deep Reinforcement Learning Framework vor, um die Energieversorgung für elektrische Erdbewegungsprozesse zu optimieren, indem BESS-Operationen in Abstimmung mit dem Energieverbrauch und der Produktivität elektrischer Erdbewegungsmaschinen geplant werden. Der Zweck dieses Rahmenwerks besteht darin, als Entscheidungshilfe für Erdbauunternehmen zu dienen, um neue Routinen zu identifizieren, die die Effizienz von Erdarbeiten steigern und Planungs- und Ausschreibungsverfahren erleichtern können. Die Ergebnisse zeigen die Leistungsfähigkeit des Frameworks bei der Entwicklung optimierter und verallgemeinerbarer Entscheidungsstrategien, ohne sich auf externe Daten aus bestehenden Erdbauprojekten zu verlassen. Darüber hinaus werden die Anpassungsfähigkeit und Skalierbarkeit des Frameworks demonstriert, indem es auf verschiedene Anwendungsfälle und Szenarien mit mehreren Erdbewegungsmaschinen angewendet wird. Das Framework wird validiert, indem es auf eine Fallstudie angewendet wird, um seine Leistung mit Daten zu vergleichen, die von einer tatsächlichen elektrischen Erdbaustelle aufgezeichnet wurden. Diese Arbeit baut auf bestehenden Methoden auf, die zur Lösung von Problemen in der Erdbauliteratur entwickelt wurden, und erweitert vorhandenes Wissen durch die Kombination von Energieoptimierungsmethoden in verwandten Bereichen, um die Wissenslücke in Bezug auf die Optimierung elektrischer Erdbauprozesse zu schließen. Darüber hinaus erweitert dieses Projekt das Forschungsgebiet, das auf die Entwicklung von realen Anwendungen von auf Deep Reinforcement Learning basierenden Systemen abzielt, indem es die Lücke zwischen Informatik und Energietechnik schließt.
- The printed version includes ISBN 978-3-948268-76-3
