Тинг Чжан из Академии искусств университета Шанлуо в Китае разработал инструмент, который способен распознавать музыкальные ноты, сообщает Ferra.
Работа Чжана основана на применении обработки изображений и машинного обучения. Это позволяет учащимся более точно осваивать музыкальные концепции. Разработанная модель — нейронная сеть на основе пульсирующих связей. Она вдохновляется работой биологических нейронов, которые «срабатывают» при определенных стимулах.
Традиционные методы онлайн-обучения часто используют упрощенные цифровые представления нот, что затрудняет понимание тонкостей музыкальных символов. PCNN улучшает сегментацию музыкальных символов на изображениях нотных листов, позволяя точно различать даже искаженные представления.
Система, основанная на оптимизированной сверточной нейронной сети, достигает успешности до 97%. Это позволяет студентам получать обратную связь в реальном времени, даже без наставника. Исследования показали заметные улучшения в понимании учащимися ритма и мелодии, а также в освоении основ музыкальной теории.