"Will voice control soon replace typing?" More and more linguistic assistants like Google Assistant, Amazon Alexa, Microsoft Cortana or Apple's Siri have recently entered the market and its usage is already possible in many applications. The market trend shows that many of our interactions with technology take place through conversations today, but does this trend also apply to mapping applications? Con terra picked up on this trend and carried out its first realizations. It uses natural language understanding (NLU) to control web mapping applications. For example, if one could say "show me the distribution of porpoises in the summer of 2013" instead of searching in a table of content, it would be a great advantage for the users. Also functions like “zoom” or “pan” can be well performed using voice control. In addition to an introduction to the topic, this article introduces the exemplary implementation of voice control for a mapping application. For the software map.apps a voice recognition was implemented and trained. Commands like "zoom", "pan" or the map theme selection have been realized. The results were implemented and tested for applications in biodiversity monitoring.
Die con terra hat diesen Trend aufgegriffen und im Zuge von F&E-Aktivitäten erste Realisierungen durchgeführt. Dabei wird „natural language understanding“ (NLU) genutzt, um Web-Mapping-Anwendungen zu steuern. Wenn man beispielsweise “zeige mir die Verteilung der Schweinswale im Sommer 2013“ sagen könnte, anstatt das Thema in einem Themenbaum zu suchen, wäre das für die Nutzer eine große Erleichterung. Aber auch Funktionen wie „zoom“, „verschieben“ oder den Kartenausschnitt auf ein bestimmtes Gebiet setzen, lassen sich gut über Sprache steuern.
In diesem Beitrag wird neben einer Einführung in die Thematik die exemplarische Umsetzung von Sprachsteuerung für eine Mapping Anwendung vorgestellt. Für die Software map.apps wurde eine Sprachsteuerung umgesetzt und trainiert. Befehle wie „zoom“, „verschieben“ oder die Auswahl von Kartenthemen wurden realisiert. Exemplarisch wurden die Ergebnisse für Anwendungen im Biodiversitätsmonitoring umgesetzt und getestet.
Sprachschnittstellen haben den Massenmarkt bereits erobert. 2011 hat Apple mit Siri
einen Sprachassistenten auf Iphones gebracht. Smarte Lautsprecher wie Alexa von
Amazon oder Google Home drängen derzeit sehr stark auf den Markt. Google
Assistant steht auf 400 Millionen Endgeräten zur Verfügung. Endbenutzer sind es
zunehmend gewöhnt, über Sprachschnittstellen mit Geräten zu interagieren. Jeder
kennt heutzutage Systeme wie Siri, Alexa, Google Assistant oder Cortana.
Ziel der Sprachsteuerung ist es, die natürliche Sprache in strukturelle Daten (hier: Karteninteraktionen) umzuwandeln, die maschinell gelesen werden können. Eine der Hauptherausforderungen bei der Entwicklung ist es, die völlig unterschiedlichen Ausdrücke und Phrasen, die unterschiedliche Menschen für den gleichen Sachverhalt verwenden, zu modellieren. So sagt beispielsweise ein GIS Experte "Aktiviere den Layer Grundschulen'", aber ein GIS-Laie formuliert "Zeige mir Grundschulen".
Abbildung 1: Systemskizze 6 https://www.conterra.de/mapapps-demos zuletzt aufgerufen 30.08.2018
50 In Abbildung 1 ist die Systemskizze mit einer exemplarischen Anfrage dargestellt. In einem ersten Schritt wird die Anfrage des Anwenders von map.apps an die Spracherkennung geschickt. Die Spracherkennung wandelt die gesprochene Sprache in Text um. In der Pilotimplementierug wird für die Spracherkennung die von Google für den Browser Chrome umgesetze Implementierung der Web Speech API7 verwendet. Diese wäre aber durch eine andere Spracherkennung ersetzbar. In einem zweiten Schritt muss der Text nun in eine ausführbare Aktion für die WebMapping Anwendung umgesetzt werden. Dafür wird die open-source Bibliothek Rasa NLU8 genutzt, mit der über eine HTTP Schnittstellekommuniziert wird. Mit Hilfe von Rasa NLU können aus dem Text Intents und Entities extrahiert werden. Der Intent besagt, welche Funktion ausgeführt werden soll und extrahierte Entities beschreiben genauer, wie diese Funktion ausgeführt werden soll. Im Beispiel „Gehe nach Münster“ wäre die auszuführende Funktion „zoom“ mit der zusätzlichen Information, dass nach „Münster“ gezoomt werden soll.
Mit Hilfe dieser Informationen ist es nachfolgend möglich, die in map.apps implementierten Funktionen auszuführen und somit das vom Nutzer gewünschte Ergebnis zu erreichen.
Als Beispiel aus dem Umweltbereich wurde die Sprachsteuerung prototypisch für eine
Anwendung zum Biodiveritätsmonitoring umgesetzt. Die Anwendung informiert über
die Verbreitung geschützter Tierarten (Seevögel, Meeressäugetiere) in der deutscher
Nord- und Ostsee [
Als Basisfunktionen für die Web-Mapping Anwendung sind beispielsweise „Maßstab setzen“, „Karteninhalt anzeigen“, „Legende anzeigen“, „Kartenausschitt verschieben“ und „Drucken“ über Sprachbefehle verfügbar. 7https://www.google.com/intl/en/chrome/demos/speech.html zuletzt aufgerufen 30.08.2018 8 https://nlu.rasa.com/ zuletzt aufgerufen 30.08.2018 9 https://www.bfn.de/infothek/karten.html zuletzt aufgerufen 30.08.2018
51 Für die Fachanwendung werden weitere Fuktionen unterstützt. Dazu gehören die Anzeige von Schutzgebeieten („Zeige mir das Naturschutzgebiet Doggerbank“), die Anzeige von Informationen zum Schutzgebiet („Zeige mir Informationen zum Naturschutzgebiet Doggerbank“), sowie die Möglichkeit die Nutzeroberfläche zum Hinzuladen von Themen mit Hilfe von Sprachbefehlen zu steuern. Da letzteres mit Hilfe von Sprachsteuerung teilweise umständlich sein kann, wurden zusätzlich EinSatz-Befehle zum Hinzuladen eines Themas eingeführt, wie folgende Beispiele zeigen: • Zeige mir Basstölpel im Sommer 2010 • Zeige mir Eiderenten aus dem Sommer 2005 • Lade das Thema Eisente Sommer 2012 • Basstölpel Sommer 2005 • Ich möchte gerne die Daten zur Heringsmöve im Sommer 2007 sehen • Jetzt zeige mir noch Basstölpel im Herbst 2003 Da es für den Nutzer nicht immer einfach ersichtlich ist, was er überhaupt eingeben kann, sind neben einzelnen Sprachbefehlen zum Steuern von Apps auch Assistenten beziehungweise Bots sinnvoll. Daher wurde prototypisch für die Anwendung zum Biodiveritätsmonitoring ein einfacher Bot implementiert, der den Nutzer beim Hinzufügen eines neuen Themas unterstützen soll. Für die Umsetzung wurden die selben Technologien genutzt. Ein beispielhafter Gesprächsverlauf könnte wie folgt aussehen:
Nutzer Bot Nutzer Bot Bot Bot „2010“ „Ja“ „Möchten Sie das Thema ‚Eiderenten im Sommer 2010‘ zur Karte hinzuladen oder die Transparenz setzen?“ „Setze die Transparenz auf 60“ „Möchten Sie das Thema nun zur Karte hinzufügen?“ „Ich füge das Thema zur Karte hinzu. Auf wiederhören.“
Tabelle 1: Beispiel für einen Gesprächsverlauf zwischen Nutzer und Bot
Bereits heute werden viele Interaktionen mit Technologie durch Sprache gesteuert. Die exemplarische Umsetzung von Sprachsteuerung für eine Web-Mapping Anwendung hat gezeigt, dass dies auch für Kartenanwendungen realisierbar ist. Die Spracherkennung funktioniert in der Regel gut, zu Fehlern kommt es insbesondere bei selten gebrauchten Fachbegriffen bzw. Namen. Beispielsweise wird häufig der Begriff „Dreizehenmöwe“ als „13 Möwen“ erkannt.
Bei der Zuordnung von Aktionen ist für das richtige Erkennen von „Intent“ und „Entity“ eine gewisse Anzahl an Texten zum Lernen notwendig. Dies ist abhängig von der Anzahl der Intents und Entities, die für eine Anwendung definiert wurden und demnach von der Komplexität der Anwendung. Prägnante Texte mit Schlüsselwörtern erleichtern dabei das Erkennen.
Bezüglich der Aktionen in der Karte kann festgehalten werden, dass folgende Aktionen sehr gut umsetzbar sind: Auswahl von Themen, Vergrößern, Verkleinern, Verschieben, Objekt über Namen auswählen und Info zu Objekt abfragen. Nicht so gut funktionieren verständlicherweise Aktionen wie „in Karte selektieren“ oder in der Karte messen. Hier kann ein multimodaler Ansatz helfen, bei dem unterschiedliche Eingabemöglichkeiten zur Verfügung gestellt werden. Der Anwender kann dann die für ihn beste Möglichkeit verwenden und somit den Bedienkomfort erhöhen. Die dargestellte map.apps Anwendung bietet dies. Diese Möglichkeit ist allerdings nicht gegeben, wenn Sprachsteuerung in Situationen genutzt werden soll, 53 in denen die Bedienung mit Tastatur und Maus nicht möglich ist, z.B. wenn die Hände anderweitig benötigt werden oder im Sinne der Barrierefreiheit für Nutzer mit