Human Object Sketches: Datasets, Descriptors, Computational Recognition and 3d Shape Retrieval
Eitz, Mathias
Seit prähistorischen Zeiten verwenden Menschen Skizzen, um ihre visuelle Welt zeichnerisch abzubilden. Auch heutzutage ist Skizzieren noch immer die einzige Darstellungsmethode, die allen Menschen einfach zugänglich ist. Um herauszufinden, wie Menschen Objekte skizzieren, führen wir zwei Experimente durch. Im ersten Experiment analysieren wir Skizzen alltäglicher Objekte, wie "Teekanne" oder "Auto". Hierzu bitten wir die Teilnehmer einer Studie solche Objekte zu skizzieren. Insgesamt erhalten wir so einen Datensatz von 20.000 Skizzen, gleichmäßig verteilt auf 250 Kategorien. Das zweite Experiment befasst sich mit der skizzenbasierten Suche von dreidimensionalen Modellen. Dazu sammeln wir 1.814 Skizzen von den Teilnehmern einer weiteren Studie. Die Kategorien dieser Skizzen stammen aus einem existierenden Datensatz dreidimensionaler Modelle. Es zeigt sich, dass die Skizzen in beiden Datensätzen relativ abstrakt gezeichnet sind und dabei mehrheitlich stark von der Geometrie des echten Objektes abweichen. Anhand des ersten Datensatzes führen wir eine Wahrnehmungs-Studie durch und stellen fest, dass Menschen die Kategorie einer Skizze in 73% der Fälle korrekt erkennen können. Im Folgenden entwickeln wir spezielle Repräsentationen für Skizzen, die auf dem sogenannten "Bag of Features"-Ansatz aufbauen, wenig Speicherplatz benötigen und mit günstigen Invarianzeigenschaften ausgestattet sind. Aufbauend auf dieser Repräsentation entwickeln wir Algorithmen zur maschinellen Erkennung von Skizzen. Wir verwenden hierzu Multi-Class Support Vector Machines, die mittels des ersten Datensatzes trainiert werden. Die daraus resultierende Erkennungsmethode für Objektskizzen weist eine Genauigkeit von 56% auf (Zufall: 0,4%). Mithilfe dieses maschinellen Modells entwickeln wir ein interaktives System zur Skizzenerkennung. Basierend auf dem zweiten Datensatz entwickeln wir ein System zur skizzenbasierten Suche von dreidimensionalen Modellen. Das System beruht auf einem ansichts-basierten Ansatz, wobei die Skizze des Nutzers mit computergenerierten Zeichnungen der 3D Modelle verglichen wird. Darüber hinaus demonstrieren wir, wie sowohl die Parameter unseres Systems, als auch die von konkurrierenden Ansätzen anhand der Skizzen aus dem zweiten Datensatz optimiert werden können. In einem abschließenden Vergleich zeigen wir objektiv, dass unser Ansatz deutlich bessere Ergebnisse erzielt als andere in der Literatur bisher beschriebene Systeme.
Since prehistoric times, humans have used sketching to depict our visual world. Even today, sketching is possibly the only rendering technique readily available to all humans. To understand how humans sketch objects, we perform two experiments. In the first experiment, we analyze the distribution of non-expert sketches of everyday objects such as 'teapot' or 'car'. We ask participants to sketch objects of a given category and gather 20,000 unique sketches evenly distributed over 250 object categories. The second experiment targets 3d shape retrieval, and we gather 1,814 sketches that are related to the categories in an existing dataset of 3d shapes. The sketches in both datasets turn out to be generally quite abstract with large local and global deviations from the original shape. Based on the first sketch dataset, we perform a perceptual study and find that humans can correctly identify the object category of a sketch 73% of the time. We develop a targeted feature transform for sketches that is based on a bag-of-features approach, yields a compact representation and comes with suitable invariance properties. Using this representation, we develop the first computational recognition method for classifying human object sketches. We compare human performance against the computational model for which we use multi-class support vector machines, trained on the sketch dataset, to classify sketches. The resulting recognition method is able to identify unknown sketches with 56% accuracy (chance is 0.4%). Using the computational model, we demonstrate an interactive sketch recognition system. Based on the second dataset, we develop a system for 3d object retrieval using sketched feature lines as input. The system employs a view-based approach, matching the input against computer generated line drawings of the objects, using the bag-of-features representation developed earlier. Moreover, we demonstrate how to optimize the parameters of our, as well as other approaches, based on the gathered sketches. In the resulting comparison, we show objectively that our approach performs significantly better than any other system described so far.
