Virtuelle Tastaturen für VR machen jede Oberfläche zum Arbeitsplatz

Die ultraleichte Alternative

Papierboot-Kreativ / Getty Images

Die beste Tastatur zum Tippen in der virtuellen Realität (VR) könnte sich als eine herausstellen, die es gar nicht gibt.

Mark Zuckerberg, CEO von Meta, hat kürzlich ein Video gepostet, in dem er eine virtuelle Tastatur in einem Quest 2-Headset ausprobiert. Experten sagen, dass solche Tastaturen die Zukunft der Produktivität in VR sein könnten.

„Die nächste Entwicklung virtueller Tastaturen wird robuste Hand-Tracking-Technologie verwenden, um die Bewegung aller Finger des Benutzers genau zu verfolgen“, sagte DJ Smith, der Chief Creative Officer der Mixed-Reality-Firma The Glimpse Group, in einem E-Mail-Interview mit Lifewire. „Bis vor Kurzem war dies einem Benutzer aufgrund der Ungenauigkeiten der Handverfolgung nicht möglich; die aktuellen Fortschritte in der KI und der maschinellen Bildverarbeitung machen diese Art des virtuellen Tippens jedoch schnell realisierbar.“

Zuckerberg gibt an, dass er mit der virtuellen Tastatur eine Geschwindigkeit von etwa 100 Wörtern pro Minute erreicht hat, während Meta-CTO Andrew Bosworth angibt, 119 Wörter pro Minute erreicht zu haben.

Ihr Tippprozess scheint ein Forschungsprojekt von Meta zu sein, das den Stand der Technik bei der Tastatur für VR vorantreibt. Was auffällt, ist das Fehlen jeglicher Hardware-Zubehörteile wie Armbänder, um ihre Fingerbewegungen zu erfassen.

Derzeit können Entwickler auf Quest virtuelle Tastaturen erstellen, die an einer Oberfläche verankert sind, indem sie Hand-Tracking verwenden und Benutzer zur Kalibrierung auf die Oberfläche tippen müssen. In der Praxis kann jedoch bereits eine geringfügige Abweichung in der Höhe zwischen der virtuellen und der tatsächlichen Oberfläche zu unbeabsichtigten Tastenanschlägen führen.

„Bisher wurden virtuelle Tastaturen als Haupteingabegerät für Text in VR verwendet. Das Tippen war jedoch langsam, da der Benutzer nicht die Möglichkeit hatte, auf natürliche Weise mit allen Fingern zu tippen“, sagte Smith. „Die Schaffung eines effektiveren Tastaturerlebnisses ist eine entscheidende Komponente, um den Produktivitätsanwendungsfall realisierbar zu machen.“

Derzeit können Benutzer innerhalb ihres VR-Erlebnisses eine virtuelle Tastatur „erzeugen“ und entweder jeden Buchstaben mit einem einzelnen VR-Laserpointer auswählen oder die „Hunt-and-Peck-Methode“ verwenden, indem sie einen einzelnen Finger an jeder virtuellen Hand verwenden, sagte Smith.

Die aktuellen Fortschritte in den Bereichen KI und maschinelles Sehen machen diese Art des virtuellen Tippens schnell realisierbar.

„Beide Systeme sind schwierig zu bedienen und haben eine sehr langsame Eingaberate“, fügte er hinzu. „Es gibt für einen VR-Benutzer auch die Möglichkeit, eine bestimmte Art von physischer Tastatur zu erwerben, die mit der VR-Umgebung gekoppelt wird. In diesem Fall kann der Benutzer einen digitalen Zwilling seiner physischen Tastatur in der VR-Umgebung sehen und normal auf der gekoppelten Tastatur tippen.“ Leider ist dieses Tippsystem nicht weit verbreitet, da die meisten VR-Benutzer nicht über den speziellen Tastaturtyp verfügen, der sich mit der VR-Umgebung koppeln lässt.“

Virtuelle Tastaturen könnten sogar für Hacker anfällig sein. Ein Team von Informatikexperten der University of California Riverside hat gezeigt, dass Spyware menschliche Bewegungen überwachen und erfassen kann. KI-Algorithmen können diese Daten dann mit einer Genauigkeit von 90 Prozent oder mehr in Worte interpretieren. Beispielsweise könnte Spyware dieses Passwort möglicherweise aufzeichnen, wenn Sie Ihre virtuelle Spielesitzung unterbrechen, um auf Ihre Facebook-Nachrichten zuzugreifen, indem Sie Ihr Passwort auf einer vom Headset angezeigten virtuellen Tastatur „eintippen“.

„Grundsätzlich zeigen wir, dass, wenn Sie mehrere Anwendungen ausführen und eine davon bösartig ist, die anderen Anwendungen ausspioniert werden können“, sagte Abu-Ghazaleh in der Pressemitteilung. „Es kann zum Beispiel die Umgebung um Sie herum ausspionieren und den Menschen in Ihrer Nähe zeigen, wie weit sie entfernt sind. Und es kann dem Angreifer auch Ihre Interaktionen mit dem Headset offenlegen.“

Shutter_m / Getty Images

Eine zukünftige Option für virtuelle Tastaturen könnte darin bestehen, Ihre Augen zum Tippen zu nutzen. Das System würde sich jede Taste ansehen und dann auf einen Controller klicken oder einen vorgegebenen Moment warten, bis das System diese Taste auswählt, sagte Jason Yim, der CEO der Mixed-Reality-Firma Trigger XR, in einer E-Mail. Doch das sogenannte „Blick-Tracking“ ist nicht einfach anzuwenden.

„Ich habe eine schöne, aber schmerzhafte Erinnerung daran, wie mein Freund, der seinen physischen Controller vergessen hatte, versuchte, ein lange verborgenes Passwort für WLAN einzugeben“, fügte er hinzu. „Es waren 20 Minuten, in denen er mit dem Kopf tippte und heftig fluchte, mitten in einem Café.“

Erhalten Sie täglich die neuesten technischen Nachrichten