07:30:00

Nörobilimciler Pink Floyd Şarkısını Dinleyicilerin Beyin Aktivitelerinden Yeniden Yarattı…
Yapay zekâ, beynin elektrik sinyallerini biraz bozulmuş klasik rock’a dönüştürdü…

Araştırmacılar beyin implantlarının bir gün konuşma yetisini kaybetmiş insanların seslerini geri kazanmalarına ve hatta belki de şarkı söylemelerine yardımcı olacağını umuyor. Bilim insanları şimdi ilk kez beynin elektriksel aktivitesinin deşifre edilebileceğini ve müziği yeniden yapılandırmak için kullanılabileceğini gösterdiler…

Yeni bir çalışmada, doğrudan beyinlerinin yüzeyine yerleştirilen posta pulu büyüklüğünde elektrot dizileri kullanılarak epileptik nöbetler açısından izlenmekte olan 29 kişiden elde edilen veriler analiz edildi. Katılımcılar Pink Floyd‘un 1979 tarihli “Another Brick in the Wall, Part 1" şarkısını dinlerken, elektrotlar ton, ritim, armoni ve şarkı sözleri gibi müzikal unsurlara uyum sağlayan çeşitli beyin bölgelerinin elektriksel aktivitesini yakaladı. Makine öğrenimini kullanan araştırmacılar, katılımcıların duyduklarının bozuk ama ayırt edici sesini yeniden yapılandırdı. Çalışmanın sonuçları Salı günü PLOS Biology‘de yayımlandı.

Sinirbilimciler onlarca yıldır insanların gördüklerini, duyduklarını ya da düşündüklerini sadece beyin aktivitelerinden çözmek için çalışıyorlar. Berkeley’deki California Üniversitesi‘nden bilişsel sinirbilimci Robert Knight‘ın da aralarında bulunduğu bir ekip, 2012 yılında katılımcıların implante elektrotlar takılıyken duydukları kelimelerin ses kayıtlarını başarılı bir şekilde yeniden yapılandıran ilk ekip oldu. O zamandan beri başkaları da benzer teknikleri kullanarak katılımcıların beyin taramalarından insan yüzleri ve manzara fotoğrafları da dahil olmak üzere yakın zamanda görüntülenen veya hayal edilen resimleri yeniden oluşturdu. Ancak Knight ve meslektaşlarının son PLOS Biology makalesi, bilim insanlarının müzik sentezlemek için beyni gizlice dinleyebileceğini öne süren ilk çalışma.

San Francisco’daki California Üniversitesi‘nde nörobilimci olan ve bu yeni çalışmaya katılmayan Shailee Jain, “Bu heyecan verici bulgular, beyin aktivitesinden düz konuşmayı yeniden yapılandırmaya yönelik önceki çalışmalara dayanıyor" diyor. “Şimdi sesin beslenmesini ortaya çıkarmak için beyni gerçekten kazabiliyoruz."

Çalışmada beyin aktivitesi verilerini müzikal sese dönüştürmek için araştırmacılar, ameliyat sırasında Pink Floyd şarkısını dinlerken katılımcılara takılan binlerce elektrottan yakalanan verileri deşifre etmek için bir yapay zekâ modelini eğitti.

Ekip neden Pink Floyd‘u ve özellikle de “Another Brick in the Wall, Part 1" şarkısını seçti? “Makalede bahsedilen bilimsel neden, şarkının çok katmanlı olması. Karmaşık akorları, farklı enstrümanları ve çeşitli ritimleri bir araya getirerek analiz etmeyi ilginç kılıyor" diyor bilişsel sinirbilimci ve çalışmanın başyazarı Ludovic Bellier. “Daha az bilimsel bir neden ise Pink Floyd’u gerçekten seviyor olmamız olabilir."

Yapay zekâ modeli, beynin şarkının akustik profilinin çeşitli bileşenlerine verdiği tepkideki kalıpları analiz ederek perde, ritim ve tondaki değişiklikleri ayırdı. Daha sonra başka bir yapay zekâ modeli, hastaların duyduğu sesleri tahmin etmek için bu ayrıştırılmış bileşimi yeniden bir araya getirdi. Beyin verileri modelden geçirildikten sonra müzik geri döndü. Melodisi kabaca bozulmamıştı ve sözleri bozuktu ama neyi dinleyeceğini bilen biri için fark edilebilirdi: “Sonuç olarak, sadece duvardaki bir tuğlaydı."

Model ayrıca beynin hangi bölümlerinin şarkının farklı müzikal özelliklerine tepki verdiğini de ortaya çıkardı. Araştırmacılar, kulağın hemen arkasında ve üstünde, üst temporal girusta yer alan beynin ses işleme merkezinin bazı bölümlerinin bir sesin veya bir sentezleyicinin başlangıcına yanıt verdiğini, diğer alanların ise sürekli mırıltılara yiv açtığını buldular.

Bulgular müziğe odaklanmış olsa da, araştırmacılar sonuçlarının en çok beyin dalgalarını insan konuşmasına çevirmek için yararlı olmasını bekliyor. Hangi dilde olursa olsun, konuşma tempo, vurgu, aksan ve tonlama gibi melodik nüanslar içerir. Bellier, “Prozodi olarak adlandırdığımız bu unsurlar, yalnızca kelimelerle iletemeyeceğimiz anlamlar taşıyor" diyor. Bellier, modelin beyin-bilgisayar arayüzlerini, konuşmayla ilişkili beyin dalgalarını kaydeden ve amaçlanan mesajları yeniden yapılandırmak için algoritmalar kullanan yardımcı cihazları geliştireceğini umuyor. Henüz emekleme aşamasında olan bu teknoloji, felç ya da inme gibi nedenlerle konuşma yetisini kaybetmiş kişilere yardımcı olabilir.

Jain, gelecekteki araştırmaların bu modellerin katılımcıların duyduğu müzikten hayal edilen iç konuşmaya kadar genişletilip genişletilemeyeceğini araştırması gerektiğini söylüyor. “Bu bulguların tercüme edileceğinden umutluyum çünkü insanlar bir kelimeyi konuşmayı hayal ettiklerinde, o kelimeyi fiziksel olarak seslendirmeye kıyasla benzer beyin bölgeleri devreye giriyor" diyor. Eğer bir beyin-bilgisayar arayüzü, müzikte bulunan doğal prozodi ve duygusal ağırlıkla birinin konuşmasını yeniden yaratabilirse, kelimelerden çok daha fazlasını yeniden yapılandırabilir. “Robotik olarak ‘Ben. Love. Seni seviyorum’ demek yerine, ‘Seni seviyorum!’ diye bağırabilirsiniz." diyor Knight.

“Bu teknolojiyi hastaların ellerine – ya da beyinlerine- yerleştirebilmemiz için önümüzde birkaç engel var. Öncelikle, model doğrudan beyin yüzeyinden alınan elektriksel kayıtlara dayanıyor. Beyin kayıt teknikleri geliştikçe, bu verileri cerrahi implantlar olmadan, belki de bunun yerine kafa derisine takılan ultra hassas elektrotlar kullanarak toplamak mümkün olabilir. İkinci teknoloji, katılımcıların kafalarında canlandırdıkları tek harfleri tanımlamak için kullanılabilir, ancak bu işlem harf başına yaklaşık 20 saniye sürer; bu da dakikada yaklaşık 125 kelimeyle hızla ilerleyen doğal konuşma hızına yakın değildir."

Araştırmacılar, elektrotları beyin yüzeyinde birbirine daha yakın bir şekilde yerleştirerek, beynin ürettiği elektriksel senfoniye daha da ayrıntılı bir bakış sağlayarak, bozuk çalmayı daha net ve anlaşılır hale getirmeyi umuyorlar. Geçen yıl San Diego’daki Kaliforniya Üniversitesi‘nden bir ekip, beyin sinyalleri hakkında mevcut cihazlardan 100 kat daha yüksek çözünürlükte bilgi sunan, yoğun bir şekilde paketlenmiş bir elektrot ızgarası geliştirdi. Knight, “Bugün bir şarkıyı yeniden yapılandırdık" diyor. “Belki yarın Pink Floyd albümünün tamamını yeniden yapılandırabiliriz."

Bu içeriği beğendiyseniz lütfen çevrenizle paylaşınız…