Paying attention to materials : transformers in the context of materials informatics
| dc.contributor.advisor | Gurlo, Aleksander | |
| dc.contributor.author | Wang, Anthony Yu-Tung | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Gurlo, Aleksander | |
| dc.contributor.referee | Sparks, Taylor D. | |
| dc.contributor.referee | Gaultois, Michael W. | |
| dc.date.accepted | 2021-12-09 | |
| dc.date.accessioned | 2022-03-02T10:55:26Z | |
| dc.date.available | 2022-03-02T10:55:26Z | |
| dc.date.issued | 2022 | |
| dc.description.abstract | The fast and affordable development of novel materials is needed in order to enable technological advancements in application areas such as clean energy, healthcare, sustainable transport, and climate-friendly consumption. However, the development of novel materials is not a trivial task. One of the biggest challenges in materials design and discovery is the enormous search space of possible material compositions available, also referred to as the “chemical whitespace”. Faced with the high risk, high reward nature of materials exploration, materials scientists have increasingly moved away from traditional trial and error methods and instead adapted new data-driven methods of materials discovery. The rapid development of data science, machine learning (ML), and deep learning (DL) as well as the influx of high-quality materials property datasets have led to the development of the new field of materials informatics (MI). This new paradigm has drastically changed the way in which materials are understood, predicted, discovered, and designed. Despite promising developments in this relatively young field, there are several open issues that need to be addressed. The lack of guidelines and established procedures to ensure high quality research in MI impedes the pace of further development in this field. Furthermore, the current techniques for representing and modeling chemical compositions are flawed and unsuitable to be used in the search of novel materials. Lastly, the prevalence of black-box DL models without model interpretability limits the trust and adoption of these models in academia and industry. Accordingly, the main aims of this work are (1) to propose a set of best practices and protocols for conducting and reporting MI studies, and (2) to improve the state of the art in materials property predictions by introducing interpretable DL techniques for representing and modeling chemical compounds. In the first work described in this thesis, the fundamental ideas and considerations of using data-driven methods for materials science are introduced. A broad set of guidelines and protocols for ensuring the reliable, reproducible, and comparable reporting of research results in MI studies is established. Common software tools, methodologies, and materials data repositories are presented. Lastly, the full procedure of an ML study including data processing, feature engineering, model training, evaluation and comparison is demonstrated using the prediction of heat capacity for solid inorganic compounds as an example. In the second work, a novel DL model named “Compositionally Restricted Attention-Based network” (CrabNet), based on the Transformer self-attention mechanism, is introduced. CrabNet is benchmarked on 28 materials property datasets and is shown to match or exceed state-of-the-art models in the prediction of inorganic material properties. The benefits of learning element-element interactions within chemical compounds using the self-attention mechanism are discussed. Furthermore, a new way of representing chemical composition which overcomes some of the limitations present in current techniques is developed. Lastly, the opportunities to study model interpretability methods in CrabNet are previewed. Continuing in the third work described in this thesis, the model interpretability of CrabNet is further examined. Intrinsic model interpretability methods are added to CrabNet and used to extract additional information about the model and data representations during the modeling process. The extracted information is processed and visualized into static and interactive figures as well as video animations. The examination of these visualizations and additional information reveals well-known chemical patterns about the elements and compounds, intuitively suggesting that CrabNet is able to learn the element properties, element interactions, and how they together dictate materials properties. Furthermore, the dataset quality as well as the self-attention mechanism are also discussed for their significance towards an improved and interpretable modeling of materials properties. Lastly, the potential benefits of applying interpretable modeling methods in academia and industry are discussed. Overall, the methods, results, and considerations discussed in this dissertation are presented in a way to educate and empower interested materials science researchers to undertake their own materials informatics research. | en |
| dc.description.abstract | Die schnelle und erschwingliche Entwicklung neuartiger Materialien wird benötigt, um technologische Fortschritte in Anwendungsbereichen wie der sauberen Energie, dem Gesundheitswesen, dem nachhaltiger Verkehr und dem klimafreundlichen Konsum zu ermöglichen. Die Entwicklung neuartiger Materialien ist jedoch keine triviale Aufgabe. Eine der größten Herausforderungen bei Materialdesign und -entdeckung ist der enorme Suchraum möglicher Materialzusammensetzungen, der auch als „chemical whitespace“ bezeichnet wird. Angesichts der risikointensiven aber aussichtsreichen Natur der Materialerforschung ziehen Materialwissenschaftler zunehmend von herkömmlichen Versuchs-und-Irrtums- Methoden weg und adaptieren stattdessen neue datengetriebene Methoden der Materialentdeckung. Die schnelle Entwicklung von Data Science, maschinellem Lernen (ML) und Deep Learning (DL) sowie der Zustrom hochwertiger Materialdatensätze haben zu der Entwicklung des neuen Gebiets der Materialinformatik (MI) geführt. Dieses neue Paradigma hat die Art und Weise mit der Materialien verstanden, vorhergesagt, entdeckt und entworfen werden drastisch verändert. Trotz vielversprechender Entwicklungen in diesem relativ neuen Bereich gibt es mehrere offene Probleme, die behoben werden müssen. Der Mangel an Richtlinien und etablierten Verfahren zur Gewährleistung hochwertiger Forschung in der MI behindert das Tempo der Weiterentwicklung in diesem Bereich. Darüber hinaus sind die derzeitigen Techniken zur Darstellung und Modellierung chemischer Zusammensetzungen fehlerhaft und ungeeignet, um bei der Suche nach neuartigen Materialien verwendet zu werden. Schließlich begrenzt die Prävalenz von Black-Box-DL-Modellen ohne Modellinterpretierbarkeit das Vertrauen und die Akzeptanz dieser Modelle in der Wissenschaft und Industrie. Dementsprechend sind die Hauptziele dieser Arbeit (1) einen Satz bewährter Verfahren und Protokolle zur Durchführung und Berichterstellung von MI-Studien vorzuschlagen und (2) den Stand der Technik in der Vorhersage von Materialeigenschaften durch die Einführung von interpretierbaren DL-Techniken zur Darstellung und Modellierung chemischer Verbindungen zu verbessern. In der ersten in dieser Dissertation beschriebenen Arbeit werden die grundlegenden Ideen und Überlegungen zur Verwendung von datengetriebenen Methoden für die Materialwissenschaft eingeführt. Eine breite Reihe von Richtlinien und Protokollen, um die zuverlässige, reproduzierbare und vergleichbare Berichterstattung von Forschungsergebnissen in MI-Studien zu gewährleisten, wird etabliert. Gängige Software-Tools, Methoden und Repositorien für Materialdaten werden dargestellt. Schließlich wird das vollständige Verfahren einer ML-Studie für die Vorhersage der Wärmekapazität fester anorganischer Verbindungen, einschließlich Datenverarbeitung, Feature Engineering, Modelltraining, -auswertung und -vergleich, als Beispiel gezeigt. In der zweiten Arbeit wird ein neuartiges DL-Modell namens „Compositionally Restricted Attention-Based network“ (CrabNet), basierend auf dem Transformer Self- Attention-Mechanismus, eingeführt. CrabNet wird anhand von 28 Materialdatensätzen evaluiert und kann den Stand der Technik bei der Vorhersage anorganischer Materialeigenschaften erreichen oder übertreffen. Die Vorteile, Wechselwirkungen zwischen Elementen in chemischen Verbindungen unter Verwendung des Self-Attention Mechanismus zu lernen, werden ebenfalls diskutiert. Darüber hinaus wird eine neue Art der Repräsentation für chemische Zusammensetzungen, die einige der in aktuellen Techniken vorhandenen Einschränkungen überwindet, präsentiert. Schließlich wird eine Vorschau der Möglichkeiten Modellinterpretationsmethoden in CrabNet zu untersuchen gezeigt. Fortgesetzt in der dritten Arbeit wird die Modellinterpretierbarkeit von CrabNet weiter untersucht. Intrinsische Modellinterpretationsmethoden werden zu CrabNet hinzugefügt und verwendet, um zusätzliche Informationen über das Modell und die Datenrepräsentationen während des Modellierungsprozesses zu extrahieren. Die extrahierten Informationen werden in statischen und interaktiven Abbildungen sowie Videoanimationen verarbeitet und visualisiert. Die Untersuchung dieser Visualisierungen und der zusätzlichen Informationen ergibt bekannte chemische Muster hinsichtlich der Elemente und deren Verbindungen, die intuitiv darauf hindeuten, dass CrabNet die Elementeigenschaften, -wechselwirkungen und deren Einfluss auf die Materialeigenschaften, lernen kann. Darüber hinaus werden die Qualität des Datensatzes und der Self-Attention-Mechanismus hinsichtlich ihrer Bedeutung für eine verbesserte und interpretierbare Modellierung von Materialeigenschaften diskutiert. Schließlich werden die potenziellen Vorteile der Anwendung interpretierbarer Modellierungsmethoden in der Wissenschaft und der Industrie diskutiert. Insgesamt sind die in dieser Dissertation diskutierten Methoden, Ergebnisse und Erwägungen so dargestellt, dass sie interessierte Materialwissenschaftler dazu ermächtigen sich auf diesem Gebiet weiterzubilden, um ihre eigene Forschung in der Materialinformatik durchzuführen. | de |
| dc.identifier.eissn | 2569-8338 | |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/16114 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-14888 | |
| dc.language.iso | en | en |
| dc.relation.haspart | 10.14279/depositonce-15321 | en |
| dc.relation.haspart | 10.14279/depositonce-15322 | en |
| dc.rights.uri | http://rightsstatements.org/vocab/InC/1.0/ | en |
| dc.subject.ddc | 006 Spezielle Computerverfahren | de |
| dc.subject.ddc | 540 Chemie und zugeordnete Wissenschaften | de |
| dc.subject.other | materials informatics | en |
| dc.subject.other | best practices | en |
| dc.subject.other | transformers | en |
| dc.subject.other | explainable AI | en |
| dc.subject.other | interpretability | en |
| dc.subject.other | Materialinformatik | de |
| dc.subject.other | bewährte Verfahren | de |
| dc.subject.other | Transformer | de |
| dc.subject.other | erklärbare KI | de |
| dc.subject.other | Interpretierbarkeit | de |
| dc.title | Paying attention to materials : transformers in the context of materials informatics | en |
| dc.title.translated | Auf Materialien achten : Transformer im Kontext der Materialinformatik | de |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | domain | en |
| tub.affiliation | Fak. 3 Prozesswissenschaften::Inst. Werkstoffwissenschaften und -technologien::FG Keramische Werkstoffe | de |
| tub.affiliation.faculty | Fak. 3 Prozesswissenschaften | de |
| tub.affiliation.group | FG Keramische Werkstoffe | de |
| tub.affiliation.institute | Inst. Werkstoffwissenschaften und -technologien | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |
| tub.series.issuenumber | 7 | en |
| tub.series.name | Advanced Ceramic Materials | en |