Maskinindlæring driver NSynth Supers nye lyde af musik

Se hvad Project Magenta -folk har været i gang med. Efter at have oprettet NSynth -algoritme har de fundet på en maskine til at tjene som instrument, fungerer som den fysiske grænseflade for NSynth -algoritmen.

Så hvad handler maskinen - og algoritmen - om?

Først, Magenta er et projekt i Google. Det fokuserer på maskinlæringsværktøjer, hjælpe kunstnere med at skabe kunst og musik på nye måder. De fik travlt med Google Creative Labs til at oprette NSynth Super -instrumentet. Så nu kan musikere lave musik ved hjælp af lyde genereret af NSynth -algoritmen fra fire forskellige lydkilder.

NSynth Super har en berøringsskærm:du kan trække fingrene henover for at afspille lyde.

(NSynth er en forkortelse for "Neural Synthesizer." NSynth bruger et dybt neuralt netværk til at lære egenskaber ved lyde, og skabe nye lyde baseret på egenskaberne.)

Google lagde en video op tirsdag, og du kan se, og hør, instrumentet i aktion. Den London-baserede producent Hector Plimmer udforskede lyde genereret af NSynth-maskinlæringsalgoritmen. jeg

NSynth Super kan afspilles via enhver MIDI -kilde, som en DAW, sequencer eller tastatur. (DAW er digital lyd -arbejdsstation. MIDI står for Musical Instrument Digital Interface.)

Så hvordan fungerer dette instrument egentlig? I et eksperiment, 16 originale kildelyde på tværs af en række på 15 tonehøjder blev optaget i et studie og derefter input til NSynth -algoritmen, at forberede lydene. Udgange, over 100, 000 nye lyde, blev indlæst i oplevelsesprototypen. Hver skive blev tildelt 4 kildelyde. Ved hjælp af skiverne, musikere kan vælge de kildelyde, de gerne vil undersøge mellem, og træk deres finger hen over berøringsskærmen for at navigere i de lyde, der kombinerer de akustiske kvaliteter af de 4 kildelyde.

På DJ Mag , nyheden blev oversat til en "ny touchscreen -hardware -synth baseret på AI." Seerne fik at vide, at "NSynth Super bruger ny teknologi til at kombinere lyde og teksturer."

Declan McGlynn i DJ Mag set på, hvad der gør denne tilgang speciel. "NSynth fortolker lydene som tal og genererer matematisk en ny serie af 'tal', der derefter omdannes til lyd."

Man kunne gå galt med at antage, at denne tilgang bare er at blande lyde. Chris Davies ind SlashGear forklaret, hvad der er "nyt" ved lydene:"Kort sagt, det tager kerneaspekterne ved forskellige lyde og genererer derefter nye timbres og dynamik, der ville være svært - eller endda umuligt - at generere med en traditionel analog eller digital synthesizer. "

Hvad er nogle eksempler på, hvordan dette foregår? McGlynn:"Lyde inkluderer en bils motor kombineret med en sitar, en baslyd morphing med torden og meget mere. Resultatet er et virkelig unikt output, med den nye hardware, der giver brugerne mulighed for at flytte mellem fire lyde på en farverig X/Y -pude. "

Hvad er det næste? Det er ikke som om du kan gå ind i en butik og finde dette på en hylde. Ikke desto mindre, koden og designfilerne er på GitHub. Chris Davies sagde, "Google frigiver også NSynth Super som et open source -projekt. Det omfatter ikke kun softwaresiden - der bruger TensorFlow og openFrameworks - men skemaer og designskabeloner til hardwaren, også."

Davies tilføjede, din NSynth Super skal være funktionelt identisk, selvom den måske ikke ser så stilfuld ud som Googles, afhængigt af hvor meget du skal bruge på materialer, og hvad du bruger til at lave kabinettet.

Så, open source -versionen af ​​NSynth Super -prototypen inklusive hele kildekoden, skemaer, og designskabeloner kan downloades på GitHub.

GitHub's side sagde, at Touch -grænsefladen er en kapacitiv sensor, som musemåtten på en bærbar computer, for at udforske de nye lyde, som NSynth genererede mellem din valgte kildelyd.

GitHub's side sagde, at sagen til elektronikken kan fremstilles med en laserskærer, og holdes sammen med standardskruer og beslag. Dette design kan tilpasses ved hjælp af forskellige materialer, farver, urskiver, og former.

© 2018 Tech Xplore