ИИ научился играть на барабанах

Disney Research научили 3Д-пероснажа играть на барабанах, слушая обычную музыку. На вход подаётся аудио, а diffusion-модель генерирует полноценную 3D-анимацию барабанщика — движения корпуса, рук и палочек, причём удары должны попадать в нужный барабан в нужный момент.

Это сложнее обычной music-to-motion: палочка движется быстро, промах даже на несколько сантиметров сразу ломает иллюзию.

Поэтому авторы разделили обучение на две задачи: естественность скелетной анимации и отдельно точность палочек. В результате заявлена точность попаданий до сантиметрового уровня, при этом тело не превращается в механического робота.

Что невыносимо круто — системе не нужен MIDI или заранее размеченный трек с нотами. Авторы собрали собственный датасет, придумали аугментации и добились работы с обычным аудио, которого модель не видела при обучении. Для проверки они даже ввели две отдельные метрики: расстояние между палочкой и целью в момент удара и корреляцию движения с аудио.

В пользовательских тестах сгенерированную анимацию часто не могли отличить от настоящего motion capture.

Еще раз: это уже не просто «персонаж двигается в ритм», а попытка восстановить из одной звуковой дорожки физически осмысленное исполнение на конкретном инструменте.

И тут басисты такие — «до-соль, до-соль». ИИ такой: а я тут зачем, там два кадра разных всего.

Контр-фагот: а у меня вообще один кадр!

(не музыканты вряд ли поймут уровень глумления этой зарисовки)

Дирижёр останавливает репетицию, смотрит на музыканта и говорит:
— Контрфагот, сыграйте ноту фа!
Музыкант издаёт низкий звук: «Тпррр-р-р».
Дирижёр:
— А теперь сыграйте фа-диез!
Музыкант снова издаёт такой же низкий звук: «Тпррр-р-р».
Дирижёр машет рукой:
— Ай, играйте, что хотите!

Настоящий материал самостоятельно опубликован в нашем сообществе пользователем Proper на основании действующей редакции Пользовательского Соглашения. Если вы считаете, что такая публикация нарушает ваши авторские и/или смежные права, вам необходимо сообщить об этом администрации сайта на EMAIL abuse@topru.org с указанием адреса (URL) страницы, содержащей спорный материал. Нарушение будет в кратчайшие сроки устранено, виновные наказаны.

Читайте также:

29 Комментарий
старые
новые
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

аЧЁ тут такого, скоро все рок груППЫ таг будут выглядетЪ!
Ёботы форевААА!!

yandex.ru/video/preview/2295293938869422196?q_source=title

Гэто хЭви метАл!!
ыы
Кожаны мешки отдыхають)
Главное что бы липеситричество не заканчивалось.

пс. К сати, мне тут поссказываают, что при стаже лет таг 42, дают ветерана труда)) и кака прибафку к пенсии. Задумалсо)

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

Джои Джордисон (Slipknot) — 2677 ударов за 2 минуты. Занесён в Книгу Рекордов Гиннесса

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Proper
3 месяцев назад

Это с 18 лет стаж. Так что в принципе можно набрать. А теперь ещй и с 65 лет.. (с23+42)
У моих родителей даже кажется медали есть.
У женщин вроде как с 38 стажем..

Хотя почитал, на госуслугах.. Что то там непонятное.
Жду похождение одного чела за этим званием..

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Proper
3 месяцев назад

Ну извини, 50% по квитку, это зиморй около 4тыр у меня. А повышать наверное будут каждый гот.

Gena
Gena
для  Proper
3 месяцев назад

У меня мама — заслуженный учитель,ветеран,куча званий и наград,и толку — ветеранская перекрывает всё остальное,так же,по максимальной выплате,никаких накопилок. Правда,да,половина квартплаты и половина за газ,остальное — как всем. Ну и региональные пенсионерские скидки в транспорте,хотя они ей так себе нужны,ну и на лекарства и медицину- где 50%,где бейцплатне(оказуется,даже в платных медцентрах для пенсов неслабые по некоторым позициям скидки,ато и бывают бесплатные оказии типа диагностик).

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Proper
3 месяцев назад

Тем не менее у мамы была песния под 27-28тр. Мне пока что не дотянуть даже до такой суммы.
Да, с наградами и всем прочим. Только вот что то не 700 с плюсом, а разговор был то ли 1 с плюсом тыр, то ли 2…
Да, выбирали- деньгами или скидкой пропроценты. Есть такое.

Gena
Gena
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

Хэх!С такими передвижками пенсионного возраста проблема дожить до пенсии,а потом вручат почётную грамоту…или не вручат,просто пошлют…к Терешковой…

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Gena
3 месяцев назад

Ну кака те сказать.. Готовиться надо к входу на выход, пока молодой)

Gena
Gena
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

Угу.Опте мистик.

Gena
Gena
для  Proper
3 месяцев назад

Само собой,но норот прививки от МММ так и ин масс не усвоил.Увы…

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Gena
3 месяцев назад

Да какая там прививка от..
Когда руки тянутся и трясутся..

Gena
Gena
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

Вот да,сколько персов за 50+ знаю лично,но межушный ганглий так и не заарбайтил…

Gena
Gena
для  Gena
3 месяцев назад

Чувак копил миллион на шоссейный БМВ-оппозитник…Какой модели — не знаю,но примерно представляю…И его дура-жена уговорила вложится в эту муету…. Мечта — в гомно,прозрение через три года…В шисят лет кому он будет нужен,этот мацацыкл…

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Gena
3 месяцев назад

Лучше б ипотеку взял))
Смотрю цены от наших почти не отстают, а иногда и в лидеры выходят.
Вот такая вот ПанАмасити))

Gena
Gena
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

ВотЪ! Мужику ничего нельзя запрещать,иначе он начнёт творить глупости и беспердел!Единственное,что нужно запретить мужику — слушать свою бабу!

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Gena
3 месяцев назад

ВотЪ ЭТО пгравильно!

Gena
Gena
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

Цены у нас норм,все,кто уезжают в Питер,Краснодар и Новосиб(ибо там цЫвЫлизация,в отличие от Дыры),сильно фраппированы… Во Владивосторге ценники ещё повышее,но туда едут нормальные,целенаправленные люди.
А так -да,Чита — дорогая ценовая дыра,хоть и на Транссибе,хоть и Кетай рядом,но по многим позициям — неоправданно дорого. Но никому нет дела,стоит форпостом и перевалочно-добытливым пунктом,и то — норм…. Как бы мы н возмущались,как бы Осипов(да нормальный губернатор,просто многие забыли предшественников) ни старался — мы нафиг особо никому не нужны,на полусамовыживании,поэтому и такие… дорогие и бестолковые..

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Proper
3 месяцев назад

У нас капремонт почти 1тр.
Это от площади зависит. Он не в теле квитанции, и даже деньги идут не в.. А на счёт ЖСК или куда там. Хотя вначале платил напрямую. Там тёмный лес, и по этому нужно переходить на свои правила игры.. А этих вот, выстраивать в очередь у двери с вывеской ..

comment image

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

И вот те прикол.. Пытались кошек разводить, пародистых.. Я посчитал траты и доход, так еле в ноль вышли. И это если всё делать кака грится по правильному. А на рынке цена в два раза меньше.. Я не представляю что покупают люди.. Если даже на выставке, где полно экспертов, сидит человек и впаривает беспородную..
Это так, в кратце, мало ли кто вздумает заняться этим))

Gena
Gena
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

Там своя тусовка,хрен просто так залезешь,как и везде.Кот красивый,но без родословной — нафиг!Обдристанная пугливая кошечка с вырождением скелета и шерстяного покрова,но с паспортом от марсианских фараонов Мадагаскара — прелесть! Можешь делать стендовые модели под заказ,но если не из тусовки — хрен на весь макияж,качество выше,но имя не раскрученное,ценник априори низкий. Пей вино известное,с маркой «Такахули» .

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Gena
3 месяцев назад

Ну как те саазать.. В самой Чите наших котят нет, но в Иркутске и во Владике вроде есть..
А так, да, хотим дешевле называется, с родословной, со всеми прививками за 10 тысяч)) Ога. А лучше за пять, а ещё лучше даром, мы хотим ребёнку подарок сделать.
Ога.

Gena
Gena
для  Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
3 месяцев назад

Ну,в Чите и без ваших котят сейчас весело,мы все даже не в курсе про Лето.Один из главных впрсо — «Ты этим летом купался? — Каким этим Летом?» . Купался. На Арее. Не рекомендую без путёвки,дикарём там делать нехер. Был дикарём по просьбе Благоверной и Внучки. Ещё раз? —

comment image

Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
Ոሉαዙҿτα ಭҿҝҿሉҿʓяҝα〄
для  Gena
3 месяцев назад

Загнал эту картинку в яндекс, он мне в ответ выдал картинки, на первых двух обезияны показывающие факг….ыхыхы

Чтобы добавить комментарий, надо залогиниться.