Энтузиаст создал умные очки с Raspberry Pi Zero 2 W, способные переводить язык жестов в речь

По словам Nekhil, изначально он планировал использовать новейший Raspberry Pi 5, но затем остановился на Pi Zero 2 W, который при своей компактности вполне подходил для его задачи.

Для разработки своего устройства Nekhil использовал открытую платформу VIAM, предназначенную для реализации проектов в области искусственного интеллекта. За распознавание и интерпретацию языка жестов отвечает модель YOLOv8. После распознавания жеста модель определяет, какой букве он соответствует, и озвучивает её при помощи синтеза речи. В деталях проекта Nekhil отмечает, что, хотя VIAM работает с Tensor Flow Lite, он выбрал YOLOv8, так как эта модель лучше справляется с распознаванием американского жестового языка (ASL).

Raspberry Pi Zero 2 W подключён к модулю камеры V3, который располагается в передней части оправы очков. Это позволяет ей снимать всё, что находится перед пользователем. Оправу Nekhil спроектировал в Fusion 360 и напечатал на 3D-принтере.

Подробнее о проекте можно узнать на Hackster.