Користувачі зможуть зіграти дует разом з нейромережею

Робот Бендер грає на піаніно

Futurama / Curiosity Company, 1999-2013

Розробники дослідницького проекту Magenta - окремої групи Google Brain, яка вивчає творчий потенціал глибокого машинного навчання - і Google Creative Lab представили нового бота AI Duet. Він слухає мелодію, яку користувач грає на віртуальному піаніно, а потім самостійно «відповідає» на неї. Систему AI Duet, про яку розповідається в блозі Google, можна протестувати тут.

Дослідницька група Magenta початку офіційно працювати в червні 2016 року, проте перші напрацювання в області музичної творчості машин вже були представлені в травні на фестивалі Moogfest в США. Тоді комп'ютерний алгоритм на основі п'яти отриманих нот зіграв коротку імпровізацію. Першим проектом команди Magenta стала програма для імпорту музики з MIDI-файлів в платформу машинного навчання TensorFlow.
новий бот AI Duet дозволяє людині зіграти дуетом з комп'ютером. Користувачеві досить виконати на віртуальному піаніно просту мелодію, а нейросеть обробить її і видасть музичний відповідь. Як повідомляє Google, для навчання алгоритму використовувалися тисячі композицій, на основі яких система навчилася розуміти відносини між нотами. При цьому розробники не навчали AI Duet розпізнавати регістр і ритм композиції - з цим завданням програма впоралася самостійно.

Імпровізації комп'ютера все ще залишаються простими і багато в чому здаються випадковими. Проте, дослідники розраховують, що AI Duet знадобиться музикантам в їхній творчості.
Дослідники вже неодноразово використовували машинне навчання в творчості. У минулому році вчені створили нейросеть, яка вміє в режимі реального часу складати пісню про предмети, показані на фотографіях, а також систему штучного інтелекту, яка навчилася складати вірші, і була використана для запису альбому в стилістиці групи «Гражданская оборона». Крім того, в Google Brains навчили алгоритм створювати подобу підліткової поезії.
Христина Уласович