Skupina ameriških raziskovalcev je udeležencem predvajala skladbo in istočasno merila njihovo možgansko aktivnost. Nato so pridobljen signal možganske aktivnosti pretvorili nazaj v zvočni signal in tako poustvarili predvajano skladbo. To je prvovrsten dosežek, uporaben pri nadaljnjem razvoju možgansko-računalniških vmesnikov.
Pretvarjanje možganskih signalov v zvočni zapis
V študiji z naslovom »Music can be reconstructed from human auditory cortex activity using nonlinear decoding models« so raziskovalci ugotavljali, ali je možgansko električno aktivnost, ki nastaja ob poslušanju skladbe, mogoče pretvoriti nazaj v zvočni zapis.
Eksperiment: Pink Floyd, kot jih zaigrajo človeški možgani
V študiji je sodelovalo 29 pacientov z epilepsijo, ki so imeli na možganski površini vstavljene elektrode za odkrivanje točnega položaja izvora epileptičnih napadov.
Raziskovalci so udeležencem najprej predvajali skladbo Another Brick in the Wall skupine Pink Floyd, istočasno pa so z uporabo majhnih elektrod, vstavljenih pod lobanjo na možgansko površino, merili električno aktivnost njihovih možganov. Glasbeno skupino Pink Floyd so izbrali, ker je bila priljubljena med ekipo raziskovalcev in med udeleženci. Hkrati pa skladba Another Brick in the Wall vsebuje ravno pravšnjo dolžino vokalnih in instrumentalnih delov pesmi. To je bila ključna lastnost skladbe, saj je raziskovalce med drugim zanimalo tudi, kako možgani procesirajo melodijo v primerjavi s procesiranjem besed.
Po predvajanju skladbe so zbrane podatke analizirali z uporabo umetne inteligence in na podlagi zapisa frekvence in amplitude zvočnega signala skladbe in električnega valovanja možganov skozi čas, zbranih od vseh udeležencev, ugotavljali, kakšne so povezave med obojimi podatki.
Na podlagi ugotovljenih povezav med zvočnim signalom in možganskim signalom so sprogramirali računalniški model, ki kot vhodne podatke sprejme zapis možganske aktivnosti enega udeleženca in ustvari zvočni signal. Končni proizvod tega modela je bila dokaj popačena, ampak kljub temu razločna verzija predvajane skladbe.
Aktivnost desne in leve hemisfere
Med procesom preizkušanja natančnosti modela so raziskovalci ugotovili, da ni skorajda nobene razlike v natančnosti, če upoštevajo signal z zelo majhnega števila elektrod ali če upoštevajo signal vseh elektrod. To je nakazuje na večjo pomembnost nekaterih možganskih delov pri procesiranju zvoka.
Izkazalo se je, da je desna možganska hemisfera pri zaznavanju glasbe aktivnejša od leve, kar se ujema z dognanji prejšnjih raziskav. To pa nikakor ne pomeni, da leva hemisfera nima nobene vloge, temveč zgolj to, da je v desni hemisferi aktivnost intenzivnejša. Če smo še bolj natančni, je bil med zaznavanjem skladbe najbolj odziven vrhnji senčni reženj možganov, ki se nahaja nad in za našimi ušesi.
Poustvarjena pesem
Raziskovalcem je uspelo pridobiti zvočno poustvaritev pesmi »Another brick in the wall« s pretvorbo električnega signala možganov v zvočni signal. Poustvarjena verzija skladbe se precej razlikuje od originalne skladbe, saj ni niti približno enako razločna in kvalitetna. Zveni približno tako, kakor bi se slišalo, če bi se glasba predvajala iz zvočnikov, mi pa bi jo poslušali pod vodo. Posnetku lahko prisluhnete tudi sami:
Kljub temu gre za izjemen dosežek, saj se raziskovalcem še nikoli prej ni uspelo tako približati natančni zvočni poustvaritvi predvajane glasbe samo z uporabo možganske aktivnosti.
Uporabnost ugotovitev za govorne vmesnike
Razvijalci možgansko-računalniških vmesnikov za govor, ki osebam z nezmožnostjo govora omogočajo verbalno komunikacijo, zaenkrat še niso iznašli rešitve za popolno poustvaritev govora. Sedanji vmesniki imajo namreč precej omejene zmožnosti proizvajanja govora, pri čemer je proizvedeni govor monoton in brez prozodičnihNebesedilni elementi govora: intonacija, melodika, naglas in ritem.... More značilnosti, ki bi izhodno sporočilo dodatno obogatile. Navsezadnje govor ni samo preprosto izgovarjanje črk in zlogov, ampak skupek barve glasu, ritma, intonacije itd. Čustvenost izgovorjenega sporočila je nekaj, kar se največkrat skriva v podrobnostih načina izgovorjave, ne le v semantičnem pomenu besed.
Glavna težava je, da so dosedanji modeli za razločevanje govora na podlagi možganske električne aktivnosti zmožni zgolj dešifriranja pomena besed, ne pa tudi vseh značilnosti govora, ki služijo celostnemu prenosu govorjenih informacij. Sposobnost dešifriranja možganskih signalov ob poslušanju glasbe ima lahko veliko uporabnost za razvoj takšnih vmesnikov, ki bodo sposobni upoštevati tudi nebesedne značilnosti govora, ki so ključne za učinkovito komunikacijo s sočlovekom.
Obenem pa je potencialna uporabnost v prihodnosti še bolj vznemirljiva. Če bi z napredkom tehnologije in metodologije lahko dosegli popolno preslikavo električnega signala iz možganov v zvočni signal, bi dali ljudem, nezmožnim govora, priložnost, da se udejanjijo tudi svoje glasbene zamisli.
Vir
Bellier, L., Llorens, A., Marciano, D., Gunduz, A., Schalk, G., Brunner, P., & Knight, R. T. (2023). Music can be reconstructed from human auditory cortex activity using nonlinear decoding models. PLoS Biology, 21(8), e3002176. https://doi.org/10.1371/journal.pbio.3002176
