Новый инерциальный MEMS-датчик LSM6DSV320X от ST c искусственным интеллектом для распознавания активности и ударов

Инерциальные модули (IMU, Inertial Measurement Unit) выполненные в виде MEMS-датчиков давно используются в смартфонах, игровых контроллерах, носимых устройствах, и т.д. В такой модуль входит акселерометр и гироскоп, вся обработка выполняется на основном процессоре смартфона или микроконтроллера. Для обработки поступающих данных от инерциального модуля, процессор должен быть постоянно в состояние активности. Например, для носимой электроники данный фактор не позволит отправить основной процессор в спящий режим. Вторая проблема заключается в большом лаге между наступлением события и реакции. Например, если необходимо обрабатывать события удара, пока ОС обработает поступающие данные и сделает вывод об ударе, времени на реакцию будет немного. Для решения указанных задач, и не только, компания STMicroelectronics разработала модуль LSM6DSV320X с искусственным интеллектом где вся обработка данных выполняется в самом модуле.

Инерциальный модуль LSM6DSV320X от STMicroelectronics, размером 2.5 x 3 мм, включает в себя 3-х осевой гироскоп, 3-х осевой акселерометр с малыми ускорением (±16g) и 3-х осевой акселерометр с большим ускорением (±320g) плюс вычислительный блок с искусственным интеллектом, идеально подходящий для Интернета вещей, таких как носимые устройства, смартфоны, контроллеры, средства индивидуальной защиты и промышленные системы мониторинга. Модуль обеспечивает наилучшее распознавание ориентации и жестов, в своем классе подобных устройств.

Большинство датчиков движения предназначены для повседневного использования, замер шагов, оценка вида активности, пешие прогулки или бег и т.д, или обнаружения внезапных ударов. Но LSM6DSV320X способен совмещать эти две задачи одновременно, первый акселерометр (±16g) отслеживает повседневную активность, а второй (±320g) следит за сильными ударами.

Одна из самых интересных функций модуля это адаптивная самонастройка (ASC, Embedded adaptive self-configuration), которая позволяет в режиме реального времени корректировать внутренние настройки на основе активности, для оптимизации энергопотребления, без необходимости использования основного процессора. Ядро ​​машинного обучения (MLC, Machine learning core), способно запускать до 8 параллельных деревьев решений, каждое из которых может генерировать до 16 результатов, в рамках конечного автомата (FSM, Finite State Machines) для понимания состояния устройства, например, обнаружение падения или отслеживание внезапных событий движения.

Технические характеристики STMicro LSM6DSV320X:

• Датчики движения

  • Акселерометры

    • Low-g – ±2/±4/±8/±16 g

    • High-g – ±32/±64/±128/±256/±320 g

  • Гироскоп – ±250/±500/±1000/±2000/±4000 dps

• Распознавание событий и функции ИИ

  • Усовершенствованный шагомер, обнаружение и счётчик шагов

  • События движения – свободное падение, переворот, 6D/4D ориентация, наклон, клик/двойной клик, резкое ускорение движения

  • Обнаружение активного движения

  • Отслеживание пиковых перегрузок

  • обнаружение наклона и ложных шагов

• Интерфейсы подключения

  • I²C, SPI (3- и 4-проводной), MIPI I3C v1.1

  • Вспомогательный интерфейс SPI и I3C для поддержки OIS

  • Поддержка хаба датчиков до 4 внешних датчиков

• Питание

  • Напряжение – 1.08V до 3.6V

  • Потребляемая мощность

    • 6-axis combo (gyro + low-g accel) – 0.67 mA

    • 9-axis combo – 0.80 mA

    • Режим пониженного энергопотребления (LPM1) – всего 4.5 µA при 1.875 Hz

• Размер – LGA-14L, 3.0 x 2.5 x 0.83 mm

• Температурный диапазон – -40°C to +85°C

• Сертификация – ECOPACK и RoHS

Машинное обучение

Ядро ​​машинного обучения (MLC, Machine learning core) включает в себя:

• Этап предварительной подготовки данных (фильтрация и определение признаков);

• Обработку данных до 8 деревьев решений, в зависимости от устройства;

• Финальная стадия, создание мета-классификаторов и генерирование событий.

Данные акселерометров и гироскопов можно фильтровать с помощью настраиваемых цифровых фильтров, а также извлекать характеристики сигнала (такие как размах сигнала, энергия, дисперсия сигнала, частота пересечения нуля и т. д.). Для классификации данных датчиков можно запрограммировать до восьми деревьев решений, во избежание ложных срабатываний используются мета-классификаторы, обеспечивающие надёжный результат классификации.

Шагомер

Встроенный в модуль шагомер (pedometer) использует четырехэтапный процесс для подсчета шагов. Вначале вычисляется величина ускорения независимо от направления движения, далее применяет фильтр FIR для сглаживания сигнала, затем подсчитывает шаги на основе обнаружения пиковых значений формы сигнала, при условие, что значение от пика до пика превышает пороговое значение. Порог срабатывания подсчета шагов динамически регулируется на основе результатов обнаружения шагов, тем самым повышая точность определения шагов и уменьшая ложные обнаружения. Блок фильтрации дребезга и отклонения ложных срабатываний конфигурируется в зависимости от задачи, для повышения надежности подсчета шагов, особенно во время ходьбы или бега.

Программирование

Без написания программного кода, т.е. в стиле no-code, только в графическом режиме ведется разработка модели машинного обучения в инструменте ST AIoT Craft. ST AIoT Craf представляет собой веб-приложение. Работа с ST AIoT Craft осуществляется следующим образом, вначале с помощью датчика собираются данные, затем набор данных загружается в облако для последующего обучения. Готовая обученная модель загружается локально и развертывается на устройстве.

Так же доступен инструмент MEMS-Studio без использования облачных вычислений, для развертывания на ПК с Windows, Linux, iOS.

Имеются драйвера для языка Rust, подключение датчика по протоколу SPI и I2C. Для C предназначена библиотека GitHub STMicroelectronics/lsm6dsv320x-pid.

Дополнительно доступна бесплатная библиотека Motion XLF для объединения данных с обоих акселерометров, что повышает точность и надежность обработки данных для высокотребовательных задач.

Пример: умное отслеживание движение объектов

Для обзора доступен пример, умное отслеживание движение объектов. Для данных объектов была построена модель обучения распознавания стационарного положения (вертикального или горизонтального) или состояний движения и тряски.

Пример: активность в тренажерном зале

Рассмотрим другой кейс распознавание активности в тренажерном зале. Распознавание активности в тренажерном зале предназначено в качестве примера фитнес-активности для носимых устройств, таких как умные часы или браслет. Для реализации этого алгоритма с помощью дерева решений все журналы данных были получены с помощью устройства (LSM6DSV320X), закреплённого на браслете.

Использовался входной сигнал акселерометра (с частотой передачи данных 30 Гц), и различные характеристики вычислялись в окне из 90 отсчётов, как показано в таблице ниже:

Дерево решений, на рисунке ниже, позволяет распознавать различные упражнения в тренажерном зале, включая сгибания рук на бицепс, разведение рук в стороны и приседания.

Конфигурация для распознавания активности в спортзале, описанная в этом примере, работает на частоте 30 Гц, вычисляя характеристики в окне из 90 выборок. Потребляемый ток LSM6DSV320X составляет около 17 мкА при 1,8 В. При отключении ядра машинного обучения потребление тока LSM6DSV320X (с акселерометром на частоте 30 Гц в режиме низкого энергопотребления) составляет около 10,5 мкА, поэтому 6,5 мкА — это дополнительное потребление тока ядром машинного обучения.

В часах Xiaomi Redmi Watch 4 имеется функция включения дисплея при поднятия руки, поднимаешь руку, и включается дисплей. Не удалось найти информацию о чипе IMU используемом в Xiaomi Redmi Watch 4, поэтому нельзя сказать, как обрабатываются данные, идет обработка на центральном процессоре или задействовано машинное обучение. Подобные функции идеально перекладываются на кейс использования LSM6DSV320X. Так же для пользователя можно создать отдельную настройку выбора различных предсетов жестов, которые можно закрепить за вызов какой либо функции.

Модуль

Модуль доступен для оптовой отгрузки по цене от $6.74 за 1 шт., также для разработчиков подготовлена плата STEVAL-MKI251A, на которой разведен сам модуль LSM6DSV320X.

STEVAL-MKI251A — это плата адаптера для стандартного сокета DIL24, предназначенная для работы с 6-ти осевым инерциальным модулем LSM6DSV320X.

Плата предназначена для быстрого прототипирования устройства и оценки функциональных возможностей модуля. Данный адаптер поддерживается отладочной платой STEVAL-MKI109D, которая включает в себя высокопроизводительный 32-разрядный микроконтроллер, функционирующий как мост между датчиком и ПК, для которого можно использовать MEMS-Studio с загрузкой/выгрузкой данных для обучения. Плата STEVAL-MKI251A стоит всего $17.04.

Плату адаптера также можно подключить к другим платам, например, STEVAL-MKBOXPRO и X-NUCLEO-IKS4A1.

LSM6DSV320X не первый модуль с поддержкой искусственного интеллекта, ранее был выпущен интеллектуальный датчик Bosch Sensortec BHI260AP AI с 6-ти осевым IMU и встроенным 32-х битным микроконтроллером, а также биосенсор ST1VAFE3BX AI для мониторинга биопотенциальных сигналов и отслеживания движения, также использует MLC и FSM от STMicro.

Ресурсы

• Edge AI self-configuring IMU - STMicroelectronics

• LSM6DSV320X Product - STMicroelectronics

• LSM6DSV320X: machine learning core (PDF)

• STEVAL-MKI251A LSM6DSV320X adapter board for a standard DIL24 socket - STMicroelectronics

• STEVAL-MKBOXPRO SensorTile.box PRO with multi-sensors and wireless connectivity for any intelligent IoT node - STMicroelectronics

• STEVAL-MKI109D Professional MEMS tool: evaluation board for all ST MEMS sensors - STMicroelectronics

• MEMS-Studio Software solution for MEMS sensors with graphical no-code design of algorithms and development of embedded AI features - STMicroelectronics

• ST AIoT Craft online tool

Литература

• ST's LSM6DSV320X - An AI-enabled IMU with two MEMS accelerometers for activity and shock detection - CNX Software