Учёные создали нейросеть, которая различает музыкальные инструменты на видео



Учёные из MIT создали нейросеть PixelPlayer, которая умеет отличать музыкальные инструменты на видео. С её помощью можно выборочно отключать инструменты и делать их погромче, сообщает Engadget.

Учёные создали нейросеть, которая различает музыкальные инструменты на видео

PixelPlayer уникален тем, что работает сразу с тремя алгоритмами. Нейросеть определяет какой инструмент изображён на видео, затем выделяет его звуковую дорожку, потом синхронизирует данные. Чтобы обучить её этому, учёные использовали различные музыкальные видео. Их общий хронометраж превышает 60 часов.

После обучения, нейросеть научилась отличать музыкальные инструменты, которые изображены на видео. По заявлению разработчиков, PixelPlayer способен идентифицировать до 20 различных инструментов. Engadget отмечает, что алгоритм пока что работает не идеально. К примеру, он может ошибаться при взаимодействии с похожими инструментами.

Разработка MIT пригодится при редактировании старых аудиофайлов или работе с концертными аудиозаписями. PixelPlayer также можно использовать для обучения роботов методам определения различных звуков окружающей среды, таких как животные, транспортные средства и приборы.

MDlavka — наш магазин для любимых читателей. Новинки техники Apple по самым приятным ценам ждут вас каждый день с 10:00 до 21:00. Указав промокод macdigger при оформлении заказа, получите скидку 500 руб.


commnetКомментарии

Пожалуйста, войдите / зарегистрируйтесь
или авторизируйтесь через любую соц. сеть, чтобы оставить комментарий.


Похожие новости
В буддийском храме создали робота-монаха 03 июля 2018 г.

В буддийском храме создали робота-монаха

Сотрудник TechCrunch приехал на мероприятие в Ханчжоу, Китай, где встретил роботизированного монаха. Он рассказал, что это за диковинка и для чего она нужна.“Робот стоял на зарядке возле стенда храма Лонцюань, когда мы впервые встретились. Вероятно...

дальше...

На портале Сберкод собраны актуальные скидки в интернет-магазинах 06 нояб. 2014 г.

На портале Сберкод собраны актуальные скидки в интернет-магазинах

Интернет-шопинг станет ещё более удобным и приятным. Теперь пользователи могут получать выгодные предложения от таких популярных онлайн-магазинов, как Lamoda, Aliexpress, Сотмаркет, MyToys и т.д. Портал Сберкод позаботится о том, чтобы его клиенты смогли...

дальше...

tvOS 12 Beta 2 позволяет выбрать HomePod в качестве основного источника звука 21 июня 2018 г.

tvOS 12 Beta 2 позволяет выбрать HomePod в качестве основного источника звука

Пользователи Reddit обнаружили одно полезное изменение во второй бета-версии tvOS 12. Теперь Apple TV позволяет выбрать колонку HomePod в качестве постоянного источника звука.Владельцы Apple TV и HomePod могут связать устройства таким образом, чтобы звук...

дальше...

GarageBand для Mac получил поддержку новых звуков и бесплатных уроков 22 июня 2018 г.

GarageBand для Mac получил поддержку новых звуков и бесплатных уроков

Apple обновила GarageBand для Mac до версии 10.3. В программе появились новые звуки, эффекты и бесплатные уроки на инструментах.В новой версии GarageBand было добавлено 1000 новых лупов для создания электронной музыки в разных жанрах, и несколько...

дальше...

Учёные не расстаются с видеоиграми даже в своих лабораториях 14 окт. 2014 г.

Учёные не расстаются с видеоиграми даже в своих лабораториях

Учёные – это такие же люди, как и мы с вами. Ну, может быть они гораздо умнее большинства из нас в определённых областях науки, тем не менее им тоже не чужда тяга к развлечениям. Интернет изрядно повеселила недавно размещённая на новостном сайте reddit...

дальше...

Учёные Японии занимаются разработкой самого быстрого робота 11 сент. 2014 г.

Учёные Японии занимаются разработкой самого быстрого робота

Учёные Японии разрабатывают робота-бегуна, используя высокоскоростные камеры и приводы. Робота назвали Achires.В будущем робот должен обогнать человека. Сейчас он бежит со скоростью всего 4,2 км в час. Длина его ног — 14 см. Он может бежать в течение...

дальше...

Децибелы мобильного звука угрожают молодым ушам 18 мая 2015 г.

Децибелы мобильного звука угрожают молодым ушам

Современные наушники, используемые в персональных аудиоустройствах, серьезно увеличивают громкость звука, что негативно влияет на барабанные перепонки и сказывается на остроте слуха. Исследователи говорят, что современная молодежь стала хуже слышать....

дальше...

Учёные нашли в космосе бескрайнее море спирта 18 сент. 2014 г.

Учёные нашли в космосе бескрайнее море спирта

Радиоастрономы из американской обсерватории Jodrell Bank обнаружили в космосе гигантское облако метилового спирта. Облако протяжённостью 463 млрд. километров медленно обращается вокруг центральной звезды и периодически генерирует микроволновые вспышки...

дальше...

Последние новости

Новости на сегодня 17 дек. 2018 г.