KI-Brille übersetzt Zeichensprache on the Fly

Maker Nekhil hat eine Brille gebaut, die Zeichensprache in gesprochene Sprache übersetzt. Für die Bilderkennung wird in dem Projekt ein Raspberry Pi Kamera Modul 3 verwendet. Diese Kamera bietet eine Auflösung von 4608 auf 2592 Pixel bei 12 Megapixeln. Die Bilder der Kamera werden über das Internet an den Cloud-Service Viam weitergeleitet. Als Herzstück basiert die Brille auf einem Raspberry Pi Zero 2 W, der mit einem Quadcore-Prozessor aus Cortex-A53-Kernen ausgestattet ist, die mit 1 GHz getaktet werden. Außerdem werden 512 MB LPDDR2-SDRAM genutzt.

Viam kann eingesetzt werden, um eigene Projekte mit cloudbasierten Services, wie KI-Datenverarbeitung etc. auszustatten. Dort werden die Daten von einem KI-Modell verarbeitet, das die Zeichen in einzelne Buchstaben übersetzt. Das verwendete KI-Modell heißt asl-letters-yolov8 und ist dafür erstellt worden, um die Buchstaben in der American Sign Language zu erkennen.

Die Buchstaben werden dann über einen Text-to-Speech-Service (Text-zu-Sprache) von Google in gesprochene Sprache umgewandelt und lokal mit einem über ein PAM8403-Modul verstärkten und mit einer USB-Soundkarte angeschlossenen Lautsprecher ausgegeben.

Eine Demo der Brille in Aktion gibt es auf Nekhils YouTube-Kanal.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

YouTube-Video immer laden YouTube-Video jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Für die Zukunft ist geplant, die Fähigkeiten der Brille von einzelnen Buchstaben hin zu komplexeren Elementen der Zeichensprache zu erweitern.

Wer mehr darüber erfahren möchte, wie Maker medizinische Hilfsmittel optimieren, findet dazu Informationen in unserem Artikel.

(das)