Künstliche Intelligenz (KI) hat längst ihren Weg in den Alltag gefunden. Computer haben gelernt, Entscheidungen zu treffen und Informationen zu interpretieren: vom Erkennen von Sprachen und Gesichtern über das Steuern von Fahrzeugen bis hin zum Gewinnen von Wissensquiz oder Schachspielen. Die Grundlage für diese künstliche Intelligenz ist das «maschinelle Lernen», bei dem Computer darauf trainiert werden, spezifische Objekteigenschaften zu erkennen. Dazu werden Sie mit vielen, bekannten Daten «gefüttert», um das Erlernte anschliessend an unbekannten Daten anzuwenden. Und genau das hat die Gruppe Studierender der Fachhochschule Graubünden getan: Sie haben ein mehrschichtiges künstliches neuronales Netzwerk (KNN) namens TensorFlow mit 3000 Kinderzeichnungen gefüttert. Ziel des Experiments war es, herauszufinden, ob dieses KNN in der Lage ist, abstrakte, individuelle, teilweise schematische Objekte in Kinderzeichnungen zu erkennen. Was dabei herauskam, verraten wir hier am Beispiel des aktuellen Fundstücks.

Technische Objekterkennung

Die technische Objekterkennung basiert auf neuronalen Netzwerken, die vom menschlichen Gehirn inspiriert sind. KNN werden nicht programmiert, sondern trainiert. Sie ermitteln selbständig Muster und Gesetzmässigkeiten in Daten und leiten daraus Regeln ab, die sich dann auf andere ähnliche Aufgaben anwenden lassen. Folglich bedeutet das auch, dass die Entwickler von KNN keine Möglichkeit haben, zu erklären, wie ein Ergebnis zustande gekommen ist.

Das Experiment

Im Experiment wurde die Objekterkennung anhand der drei Motive Mensch, Haus und Baum getestet. Das sind Objekte, die häufig auf Kinderzeichnungen vorkommen und typische Formen wie Kreise, Dreiecke oder Quadrate enthalten. Die Gruppe Studierender trainierte zunächst das künstliche neuronale Netz, indem sie ihm diese typischen Formen zeigte und liess es dann die Objekte auf den 3000 Kinderzeichnungen aus den Sammlungen Pestalozzianum erkennen.

Die Herausforderung

Technische Objekterkennung erfordert eine komplexe Interpretations- und Transferleistung. Computer müssen Objekte anhand weniger und ungenauer Parameter identifizieren können. So ist es beispielsweise für KNN nicht trivial, in Kinderzeichnungen einen Baum von einem Menschen zu unterscheiden, wenn beide etwa einen langen, schlanken «Körper» haben, auf dem ein runder Kopf bzw. eine runde Krone sitzt.

Das Fundstück und die Ergebnisse

Die Resultate wurden vom Programm mit farbigen Rahmen (Position) sowie der Bezeichnung der Objektkategorie und der Erkennungssicherheit in Prozent (0.38 = 38%) ausgegeben. Im Fundstück findet das Programm zwei Bäume, erkennt aber weder den dritten, gleichartigen Baum, noch die Person auf der Sitzbank. Zudem erkennt es eine der beiden langen Blumen am Bildrand als Baum. Die Ergebnisse weisen darauf hin, dass Maltechniken, die für das Training verwendet wurden, sowie optisch ähnliche Stile (Kreide, Neocolor und teilweise Aquarell), deutlich besser erkannt werden als etwa diese Collage im Fundstück. Mit einer durchschnittlichen Erkennungspräzision von 91 Prozent, ist das Ergebnis vielversprechend.

Ausblick

Das Potenzial der Sammlungen Pestalozzianum ist gross, um künstliche neuronale Intelligenz weiter lernen zu lassen. Mit mehr als 60’000 Kinderzeichnungen und einer grossen Vielfalt an Maltechniken (Collagen, Scherenschnitte, Drucke, Linolschnitte, Zeichnungen mit Kreide, Wachsmalstiften, Aquarellfarben usw.) bietet das Archiv eine reiche Menge an Daten, um KNN zu füttern und so zur Weiterentwicklung der technischen Objekterkennung in Kinderzeichnungen beizutragen.

Literatur:

Häubi, Joëlle; Elpeza, Vita; Buchmann, Sarah (2021): Objekterkennung in Kinderzeichnungen mit der Machine Learning Methode TensorFlow. Projektbericht im Fach Consultancy Project im Studiengang Information and Data Management. FHGR Fachhochschule Graubünden, Chur.

Häubi, Joëlle; Buchmann, Sarah; Elpeza, Vita (2022): Objekterkennung in Kinderzeichnungen verschiedener Maltechniken mit der Machine Learning Methode TensorFlow. Projektbericht im Fach Data Artist Project im Studiengang Information and Data Management. FHGR Fachhochschule Graubünden, Chur.

Kossmann, Donald (2021): Wunder Informatik. vdf Hochschulverlag AG an der ETH Zürich.

Paass, Gerhard; Hecker, Dirk (2020): Künstliche Intelligenz: Was steckt hinter der Technologie der Zukunft? Springer Fachmedien, Wiesbaden.