Similarity encoder: A neural network architecture for learning similarity preserving embeddings
| dc.contributor.advisor | Müller, Klaus-Robert | |
| dc.contributor.author | Horn, Franziska | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Müller, Klaus-Robert | |
| dc.contributor.referee | Akbik, Alan | |
| dc.contributor.referee | Abedjan, Ziawasch | |
| dc.date.accepted | 2020-04-30 | |
| dc.date.accessioned | 2020-05-25T13:59:20Z | |
| dc.date.available | 2020-05-25T13:59:20Z | |
| dc.date.issued | 2020 | |
| dc.description.abstract | Matrix factorization is at the heart of many machine learning algorithms, for example, for dimensionality reduction (e.g. kernel PCA) or recommender systems relying on collaborative filtering. Understanding a singular value decomposition (SVD) of a matrix as a neural network optimization problem enables us to decompose large matrices efficiently while dealing naturally with missing values in the given matrix. But most importantly, it allows us to learn the connection between data points' feature vectors and the matrix containing information about their pairwise relations. In this thesis, we introduce a novel neural network architecture termed Similarity Encoder (SimEc), which is designed to simultaneously factorize a given target matrix while also learning the mapping to project the data points' feature vectors into a similarity preserving embedding space. This makes it possible to, for example, easily compute out-of-sample solutions for new data points. Additionally, we demonstrate that SimEcs can preserve non-metric similarities and even predict multiple pairwise relations between data points at once. As the first part of the SimEc architecture, mapping from the original (high dimensional) feature space to the (low dimensional) embedding, can be realized by any kind of (deep) neural network, SimEcs can be used in a variety of application areas. As we will demonstrate, SimEcs can serve as a reliable baseline model in pairwise relation prediction tasks such as link prediction or for recommender systems. The pairwise relations and similarities predicted by a SimEc model can also be explained using layer-wise relevance propagation (LRP). Furthermore, SimEcs can be used to pre-train a neural network used in a supervised learning task, which, for example, improves the prediction of molecular properties when only few labeled training samples are available. Finally, a variant of SimEc, called Context Encoder (ConEc), provides an intuitive interpretation of the training procedure of the CBOW word2vec natural language model trained with negative sampling and makes it possible to learn more expressive embeddings for words with multiple meanings as well as to compute embeddings for out-of-vocabulary words. | en |
| dc.description.abstract | Die Matrixfaktorisierung ist das Herzstück vieler maschineller Lernalgorithmen, beispielsweise der Dimensionalitätsreduktion (z.B. Kernel-PCA) oder Empfehlungssystemen, die auf kollaborativem Filtern beruhen. Das Verständnis einer Singulärwertzerlegung (SVD) einer Matrix als ein neuronales Netzwerkoptimierungsproblem ermöglicht es uns, große Matrizen effizient zu zerlegen und dabei problemlos mit fehlenden Werten in der gegebenen Matrix umzugehen. Aber vor allem erlaubt es uns, eine Verbindung zwischen den Merkmalsvektoren der Datenpunkte und der Matrix, die Informationen über ihre paarweisen Beziehungen enthält, zu lernen. In dieser Arbeit stellen wir eine neuartige neuronale Netzwerkarchitektur vor, Similarity Encoder (SimEc), welche gleichzeitig eine gegebene Zielmatrix faktorisiert, und das Mapping zur Projektion der Merkmalsvektoren der Datenpunkte in einen ähnlichkeitserhaltenden Einbettungsraum lernt. So können beispielsweise Out-of-Sample-Lösungen für neue Datenpunkte einfach berechnet werden. Außerdem demonstrieren wir, dass SimEcs nicht-metrische Ähnlichkeiten beibehalten und sogar mehrere paarweise Beziehungen zwischen Datenpunkten gleichzeitig vorhersagen kann. Da der erste Teil der SimEc-Architektur, welcher die Abbildung vom ursprünglichen (hochdimensionalen) Merkmalsraum zur (niederdimensionalen) Einbettung darstellt, durch beliebige (tiefe) neuronale Netze realisiert werden kann, können SimEcs in einer Vielzahl von Anwendungsbereichen eingesetzt werden. Wie wir zeigen, können SimEcs als zuverlässiges Basismodell für die Vorhersage paarweiser Beziehungen, wie z.B.\ Link Prediction oder für Empfehlungssysteme, dienen. Die paarweisen Beziehungen und Ähnlichkeiten, die von einem SimEc-Modell vorhergesagt werden, können auch unter Verwendung von Layer-wise Relevance Propagation (LRP) erklärt werden. Darüber hinaus können SimEcs dazu verwendet werden, um ein neuronales Netzwerk, welches in einer überwachten Lernaufgabe verwendet werden soll, vorzutrainieren, was zum Beispiel die Vorhersage von molekularen Eigenschaften verbessert, wenn nur wenig annotierte Trainingsbeispiele verfügbar sind. Darüber hinaus bietet eine Variante von SimEc, genannt Context Encoder (ConEc), eine intuitive Interpretation des Trainingsablaufs des mit negativem Sampling trainierten CBOW word2vec-Sprachmodells und ermöglicht es, expressivere Einbettungen für Wörter mit mehreren Bedeutungen zu lernen sowie Einbettungen für Wörter außerhalb des Vokabulars zu berechnen. | de |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/11068 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-9956 | |
| dc.language.iso | en | en |
| dc.rights.uri | https://creativecommons.org/licenses/by/4.0/ | en |
| dc.subject.ddc | 006 Spezielle Computerverfahren | de |
| dc.subject.other | matrix factorization | en |
| dc.subject.other | neural networks | en |
| dc.subject.other | deep learning | en |
| dc.subject.other | Matrix-Faktorisierung | de |
| dc.subject.other | neuronale Netze | de |
| dc.title | Similarity encoder: A neural network architecture for learning similarity preserving embeddings | en |
| dc.title.translated | Similarity Encoder: Eine neuronale Netzarchitektur um ähnlichkeitserhaltende Einbettungen zu lernen | de |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | free | en |
| tub.affiliation | Fak. 4 Elektrotechnik und Informatik::Inst. Softwaretechnik und Theoretische Informatik::FG Maschinelles Lernen | de |
| tub.affiliation.faculty | Fak. 4 Elektrotechnik und Informatik | de |
| tub.affiliation.group | FG Maschinelles Lernen | de |
| tub.affiliation.institute | Inst. Softwaretechnik und Theoretische Informatik | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |