Как петербуржец придумал приложение, которое с помощью нейронных сетей распознает пение соловья, дрозда и других птиц

Петербургский орнитолог Олег Кенунен создал приложение, которое при помощи нейронных сетей распознает птиц по их пению. Пока в базе 20 голосов: среди них, например, соловей, дрозд и зяблик.

Как нейронная сеть отличает синицу от вороны, после каких доработок «Shazam для птиц» может стать доступен для всех и чем работа с птичьими голосами похожа на изучение иностранного языка? Кенунен рассказал «Бумаге», как разрабатывал сервис и что с ним будет.

Олег Кенунен

Разработчик приложения

Я орнитолог по образованию. Раньше я пробовал обрабатывать изображения, анализировал картинки, делал всякие эксперименты с нейронными сетями. Потом отложил это дело на довольно длительный срок. Недавно пошел на переквалификацию на матмехе, где мне надо было написать дипломную работу. Я решил, что [распознавание птичьих голосов с помощью нейросетей] это интересная тема. Тем более, моя магистерская работа была связана с голосами птиц, поэтому я выбрал такую смежную область.

Занимался приложением я где-то с середины лета. В первую очередь мне было самому интересно посмотреть, насколько это вообще реально и выполнимо. Мне было важно проверить саму идею и создать платформу, которую можно дорабатывать. То, что есть сейчас, это ни в коему случае не продакшн — это демо-версия.

Приложение состоит из нескольких компонентов: это серверная часть и клиентская. Серверная часть получает файл, анализирует при помощи нейронной сети и отправляет ответ обратно клиенту.

Демонстрация работы приложения

Можно сказать, что приложение напоминает Shazam, только Shazam не совсем так устроен: он определяет сходство с теми записями, которые есть в базе. Кроме этого, речь о музыкальных файлах, то есть записях, сделанных в студии. А тут очень большая изменчивость голосов внутри одного вида. Птицы же друг друга узнают — как мы друг друга узнаем по голосу.

Нейронная сеть — это черный ящик. На вход подается много образцов, а дальше идет поиск каких-то скрытых закономерностей. Возможно, люди [у себя в голове] это делают по другим параметрам. В отличие от классических методов анализа, где изучаются частота, амплитуда, тембр, гармоника, здесь это происходит невидимо для человека, не формализовано. Определить, по каким параметрам [нейронная сеть разделяет птичьи голоса], теоретически можно, но для этого надо препарировать то, что там происходит.

Соловей

Результат зависит от обучающей выборки. Я взял [файлы с голосами птиц] из открытых источников, которые разрешены для академической работы, потому что мне столько было бы не записать. Преимущественно c сайта Xeno-canto — это сообщество любителей, которые загружают туда записи. Там голоса по большей части правильно определены, но есть проблема с качеством записей: они не очень чистые, и нейронная сеть в них путается. Так что их нужно отбирать. Поэтому я пока опробовал [приложение] на местных видах, которые я сам могу четко отличить и сам в них не запутаюсь.

Стандартный метод тестирования нейросети такой: есть выборка, на которой происходит обучение, и еще маленькая тестовая выборка, на которой проверяется правильно или нет [работает сеть] — у меня в нее было внесено 10 % всего [объема данных]. Тестовую выборку во время обучения нейронная сеть не видит, поэтому по ней можно более или менее адекватно сказать, насколько верный результат получается.

Пока в приложении голоса 20 видов. Наверное, в ближайших планах у меня даже не увеличить количество птиц, а доработать архитектуру нейронной сети. Потому что подбор архитектуры самой сети тоже делается методом тыка: подбираешь разные варианты и смотришь, какой даст лучший результат на тестовой выборке. Я попробовал несколько десятков вариантов.

Потом стоит сделать возможность авторизации пользователя и попробовать уже альфа-версию с несколькими тестерами. Сейчас у меня еще нет базы данных пользователей, поэтому пока что я могу использовать приложение только для себя. Но если всё будет хорошо, она появится.

Зяблик

Аналоги мне неизвестны. На Google Play есть одно похожее приложение, но, по всей видимости, оно не использует нейронные сети. Помимо этого есть около полутора десятков научных статей о возможности распознавания голосов птиц с помощью нейронных сетей. Эти статьи, наверное, показывают даже лучшие результаты, чем у меня, но они носят академический характер — это не рабочие приложения. Кроме того, лаборатория орнитологии Корнеллского университета в Америке, у которой самая большая в мире фонотека, выпустила приложение для определения птиц — но по фотографиям.

В целом [научиться распознавать голоса птиц на слух] можно, но надо тренироваться. Желательно найти человека, который в этом разбирается, и с ним походить по лесу, чтобы он при этом спрашивал и проверял. Мне кажется, это самый эффективный способ. Можно ли этому обучиться по фонотекам — я не уверен. Это как с изучением языка: можно попробовать учить их по сериалам, но лучше найти учителя.

Проще всего отличить голоса синиц, зябликов — самых фоновых видов, которые есть в любом парке. Или, например, все определят ворону. Это те виды, с которыми люди много встречаются и часто слышат.

Если вы нашли опечатку, пожалуйста, сообщите нам. Выделите текст с ошибкой и нажмите Ctrl + Enter.
Читайте еще
Как снизить число жертв ЧП и терактов, изучая пчел и муравьев. Рассказывает информатик Илья Викснин
Это петербургский робот Сэлдон: он играет на гитаре и знает бюджет Ленобласти. Кто его создал и почему он так вызывающе выглядит 🤖
Как петербуржцы создали язык программирования Kotlin и почему его теперь используют Android и Google
Третья волна коронавируса
«Что будет завтра — не знаем». Петербургский Роспотребнадзор не разрабатывает документ об обязательной вакцинации — пока
Что власти говорят об обязательной вакцинации, которую ввели в Москве и Подмосковье? Ждать ли ее в Петербурге?
В Петербурге журналисты спросили чиновников о возросших госпитализациях в чате WhatsApp. Им запретили отправлять сообщения 😶
Как растет число заболевших и умерших из-за коронавируса в Петербурге — показываем на графиках
Петербургские исследователи проверили эффективность «Спутника V». Предварительно у абсолютного большинства нашли антитела после прививки
Евро-2020
Кокошники, костюмы Ивана Грозного и «Катюша»: как болельщики праздновали победу сборной России в Петербурге
Россия обыграла Финляндию в матче Евро-2020 в Петербурге 🥳
Участницу Pussy Riot, выбежавшую на поле в финале ЧМ-2018, задержали из-за информации о ее намерении сорвать Евро-2020 в Петербурге
Что происходило в Петербурге перед матчем Россия — Финляндия. Танцы в костюмах Ивана Грозного, ограничения на дорогах и тысячи финских фанатов
В Петербурге в среду ограничивают движение из-за Евро-2020 и подготовки к «Алым парусам». Вот список улиц
Гид по пригородам Петербурга
На Карельском перешейке — десятки озер, о которых мало кто знает. Вот шесть мест, где приятно купаться и гулять
В Гатчине — не только дворец и парки. Осмотрите замок мальтийских рыцарей, деревянную дачу с башней и старинную слободу, где жили егеря
В Орехове — самая высокая точка Карельского перешейка, заказник с дикими зверьми и озера. Летом в полях цветет рапс и пасутся лошади
В Лебяжьем — «кладбище поездов», столетние дома и военные форты. Прогуляйтесь по местам писателя Бианки и останьтесь до вечера, чтобы увидеть закат над заливом
В Приморске — старая финская кирха и пирс, на котором испытывают ледоколы. Прогуляйтесь по берегу залива и заказнику с морскими видами
Как всё дорожает
Производители куриных яиц предупредили о возможном дефиците продукции. Минсельхоз заявил о стабильной ситуации
Российские производители продуктов с начала года повысили цены на 6,4 %
За год в Петербурге очень сильно подорожало жилье. Почему? Ждать ли снижения цен и отмены льготной ипотеки?
Петербург вошел в топ-10 городов мира по росту цен на элитное жилье, обогнав Лос-Анджелес и Москву
С 1 мая подорожают входные билеты в Ботанический сад Петра Великого
Вакцинация от коронавируса
«Что будет завтра — не знаем». Петербургский Роспотребнадзор не разрабатывает документ об обязательной вакцинации — пока
Что власти говорят об обязательной вакцинации, которую ввели в Москве и Подмосковье? Ждать ли ее в Петербурге?
Власти Москвы объявили обязательную вакцинацию работников сферы услуг, образования и транспорта
«Были надежды, что избежим третьей волны. Но этого не произошло». Эпидемиолог Антон Барчук — о том, ждать ли петербуржцам ограничений, как в Москве
Власти Петербурга заявили, что вакцинацию тормозит либеральная молодежь. И снова призвали делать прививки
Коллеги «Бумаги»
Спасти «Медузу»
Екатерина Шульман — о «варягах», федерализме и активистах в регионах
Виталий Манский — о сорванном «Артдокфесте» в Петербурге, переезде и творчестве
В Петербурге начинается посмертный суд над погибшим в СИЗО бизнесменом Валерием Пшеничным
Лето в Петербурге
В Петербурге ухудшается погода и начинаются дожди с грозами. В воскресенье — местами ливни и град ⛈️
Реклама летней грусти и кулинарный журнал «Жарю ультрамальвин» с Иваном Дорном. На «Моей остановочке» — новая инсталляция, посвященная петербургскому лету 😍
В пятницу в Петербурге будет солнечно, в субботу возможны дожди, а в воскресенье ждут грозы ⛈
Как позагорать, не покидая центр Петербурга? К вашим услугам — пляж на Новой Голландии, в этом году очень красочный и с пальмами 🌴
Восемь плавучих ресторанов в Петербурге: двухпалубный корабль с винтажной мебелью, «винный» катер и теплоход в стиле стимпанк
Подкасты «Бумаги»
Как одеваться экологично? В этом подкасте говорим про влияние моды на климат и бережное отношение к вещам
Чем грозит таяние ледников и вечной мерзлоты и как ученые воссоздают экосистему эпохи мамонтов? В этом подкасте обсуждаем Арктику и Антарктику
«Мы выросли в ощущении безопасности — но скоро так уже не будет». Зачем школьники и студенты устраивают забастовки за климат по всему миру
«Я была абсолютно не готова к отсутствию комфорта». Горожане, переехавшие в деревни, рассказывают о сельском быте, отношениях с местными жителями и одиночестве
«Без деревьев нет человеческой жизни». Как леса влияют на климат планеты, температуру в городах и наше самочувствие — в новом подкасте

Спасибо!

Теперь редакторы в курсе.

К сожалению, мы не поддерживаем Internet Explorer. Читайте наши материалы с помощью других браузеров, например, Mozilla Firefox или Chrome.