Improving Emotion Recognition using Sensor Fusion

The content of this page is provided by Martin Eisoldt and Thomas Hauptvogel. All rights reserved.
Language Notice
This document is available in German language only.

Project Goal

Die Steuerung eines Roboters mittels Emotionen ist für die Entwicklung eines barrierefreien Roboters besonders erstrebenswert, da die Umsetzung einer Art “künstlichen Empathie” einen zusätzlichen Kommunikations-Layer ermöglicht, der insbesondere im Umgang mit Menschen mit Demenz eine wichtige Rolle spielt. Jedoch profitieren auch andere Nutzergruppen davon, wenn der Roboter angepasst auf die Stimmung des Nutzers mit dem Nutzer interagieren kann. Im Rahmen eines Komplexpraktikums wurde bereits ein Mechanismus implementiert, der das Machine-Learning-Framework Tensorflow von Google auf dem Loomo lauffähig macht, sodass eine Gesichtserkennung mit anschließender Emotionsabschätzung ausgeführt wird. Die Abschätzung der Emotionen funktioniert allerdings noch nicht zuverlässig. Diesem Problem soll sich dieses Forschungsprojekt widmen, sodass zum Ende des Projektes eine zumeist zuverlässige Erkennung sehr starker bzw. eindeutiger Basisemotionen möglich ist.

Download Documentation

You can download the full submission as PDF file (2 MB) here.