Aναδημιουργόντας τραγούδι των Pink Floyd διαβάζοντας τα εγκεφαλικά σήματα

[Slew Rate]

Ο ήχος ακούγεται σαν να παίζεται υποβρύχια. Ωστόσο, είναι ένα πρώτο βήμα προς τη δημιουργία πιο εκφραστικών συσκευών που θα βοηθούν άτομα που δεν μπορούν να μιλήσουν.

 

Ένα δίχτυ ηλεκτροδίων εμφυτεύτηκε στον εγκέφαλο ασθενών με επιληψία ως μέρος της θεραπείας τους, κάτι που δημιούργησε μια σπάνια ευκαιρία στους νευροεπιστήμονες να καταγράφουν από τον εγκέφαλό τους ενώ άκουγαν μουσική.

 

Οι επιστήμονες έχουν εκπαιδεύσει έναν υπολογιστή για να αναλύει την εγκεφαλική δραστηριότητα κάποιου που ακούει μουσική και, με βάση μόνο αυτά τα νευρωνικά μοτίβα, να αναπαράγει το τραγούδι.

Η έρευνα, που δημοσιεύτηκε την Τρίτη, παρήγαγε μια αναγνωρίσιμη, αν και σβησμένη εκδοχή του τραγουδιού των Pink Floyd το 1979, "Another Brick in the Wall (Μέρος 1)".

 

Audio-file-2--1-.mp3  

 

Πριν από αυτό, οι ερευνητές είχαν καταλάβει πώς να χρησιμοποιήσουν την εγκεφαλική δραστηριότητα για να ανασυνθέσουν μουσική με παρόμοια χαρακτηριστικά με το τραγούδι που άκουγε κάποιος. Τώρα, «μπορείτε πραγματικά να ακούσετε τον εγκέφαλο και να επαναφέρετε τη μουσική που άκουσε το άτομο», είπε ο Gerwin Schalk, ένας νευροεπιστήμονας που διευθύνει ένα ερευνητικό εργαστήριο στη Σαγκάη και συνέλεξε δεδομένα για αυτήν τη μελέτη.
 

Οι ερευνητές βρήκαν επίσης ένα σημείο στον κροταφικό λοβό του εγκεφάλου που αντέδρασε όταν οι εθελοντές άκουσαν τις 16 νότες του αυλακιού της κιθάρας του τραγουδιού. Πρότειναν ότι αυτή η συγκεκριμένη περιοχή μπορεί να εμπλέκεται στην αντίληψή μας για τον ρυθμό.

 

Τα ευρήματα προσφέρουν ένα πρώτο βήμα προς τη δημιουργία πιο εκφραστικών συσκευών για να βοηθήσουν άτομα που δεν μπορούν να μιλήσουν. Τα τελευταία χρόνια, οι επιστήμονες έχουν κάνει σημαντικές ανακαλύψεις στην εξαγωγή λέξεων από τα ηλεκτρικά σήματα που παράγονται από τον εγκέφαλο ατόμων με μυϊκή παράλυση όταν προσπαθούν να μιλήσουν.

 

Αλλά ένας σημαντικός όγκος των πληροφοριών που μεταφέρονται μέσω του λόγου προέρχεται από αυτό που οι γλωσσολόγοι αποκαλούν «προσωδικά» στοιχεία, όπως ο τόνος - «τα πράγματα που μας κάνουν ζωντανό ομιλητή και όχι ρομπότ», είπε ο Δρ Σαλκ.

 

Κατανοώντας καλύτερα πώς ο εγκέφαλος μεταβολίζει τη μουσική, οι επιστήμονες ελπίζουν να κατασκευάσουν νέα «προσθετικά ομιλίας» για άτομα με νευρολογικές παθήσεις που επηρεάζουν τη φωνητική τους παραγωγή. Ο στόχος είναι αυτές οι συσκευές να αναμεταδίδουν όχι μόνο αυτό που προσπαθεί να πει κάποιος, αλλά να διατηρήσουν μέρος της μουσικότητας, του ρυθμού και του συναισθήματος της οργανικής ομιλίας.

 

Για να συλλέξουν τα δεδομένα για τη μελέτη, οι ερευνητές κατέγραψαν από τους εγκεφάλους 29 ασθενών με επιληψία στο ιατρικό κέντρο Albany στην Πολιτεία της Νέας Υόρκης από το 2009 έως το 2015.

 

 

Ως μέρος της θεραπείας της επιληψίας, οι ασθενείς είχαν εμφυτευτεί στον εγκέφαλό τους ένα δίχτυ από ηλεκτρόδια που μοιάζουν με νύχια. Αυτό δημιούργησε μια σπάνια ευκαιρία για τους νευροεπιστήμονες να καταγράφουν από τη δραστηριότητα του εγκεφάλου τους ενώ άκουγαν μουσική.

 

Η ομάδα επέλεξε το τραγούδι των Pink Floyd εν μέρει επειδή άρεσε σε μεγαλύτερους ασθενείς. «Αν έλεγαν, «Δεν μπορώ να ακούσω αυτά τα σκουπίδια», τότε τα δεδομένα θα ήταν τρομερά, είπε ο Δρ Σαλκ. Επιπλέον, το τραγούδι περιλαμβάνει 41 δευτερόλεπτα στίχους και δυόμισι λεπτά κυκλοθυμικά ορχηστρικά, ένας συνδυασμός που ήταν χρήσιμος για να πειράξουμε πώς ο εγκέφαλος επεξεργάζεται τις λέξεις έναντι της μελωδίας.

 

Ο Ρόμπερτ Νάιτ, ένας νευροεπιστήμονας στο Πανεπιστήμιο της Καλιφόρνια στο Μπέρκλεϋ, και ο αρχηγός της ομάδας, ζήτησε από έναν από τους μεταδιδακτορικούς του, τον Λούντοβικ Μπελιέ, να προσπαθήσει να χρησιμοποιήσει το σύνολο δεδομένων για να ανασκευάσει τη μουσική «επειδή ήταν σε μια μπάντα». είπε ο Δρ Νάιτ. Το εργαστήριο είχε ήδη κάνει παρόμοια εργασία ανακατασκευάζοντας λέξεις.

 

Αναλύοντας δεδομένα από κάθε ασθενή, ο Δρ Μπελιέ εντόπισε ποια μέρη του εγκεφάλου φωτίστηκαν κατά τη διάρκεια του τραγουδιού και σε ποιες συχνότητες αντιδρούσαν αυτές οι περιοχές.

 

Όπως ακριβώς η ανάλυση μιας εικόνας εξαρτάται από τον αριθμό των pixel της, η ποιότητα μιας εγγραφής ήχου εξαρτάται από τον αριθμό των συχνοτήτων που μπορεί να αναπαραστήσει. Για να ανακατασκευάσουν ευανάγνωστα το «Another Brick in the Wall», οι ερευνητές χρησιμοποίησαν 128 ζώνες συχνοτήτων. Αυτό σήμαινε εκπαίδευση 128 μοντέλων υπολογιστών, τα οποία έφεραν συλλογικά το τραγούδι στο επίκεντρο.

 

 

Στη συνέχεια, οι ερευνητές έτρεξαν το αποτέλεσμα από τέσσερις μεμονωμένους εγκεφάλους μέσω του μοντέλου. Οι αναψυχές που προέκυψαν ήταν όλες αναγνωρίσιμα το τραγούδι των Pink Floyd, αλλά είχαν αξιοσημείωτες διαφορές. Η τοποθέτηση ηλεκτροδίων από τον ασθενή πιθανώς εξηγεί το μεγαλύτερο μέρος της διακύμανσης, είπαν οι ερευνητές, αλλά τα προσωπικά χαρακτηριστικά, όπως το αν ένα άτομο ήταν μουσικός, έχουν επίσης σημασία.

 

Audio-file-2--1-.mp3  

Ένα απόσπασμα από ένα ανακατασκευασμένο τραγούδι που δημιουργήθηκε από τα δεδομένα ενός μόνο ασθενή.

 

Τα δεδομένα κατέλαβαν λεπτομερή μοτίβα από μεμονωμένες ομάδες εγκεφαλικών κυττάρων. Αλλά η προσέγγιση ήταν επίσης περιορισμένη: οι επιστήμονες μπορούσαν να δουν την εγκεφαλική δραστηριότητα μόνο εκεί όπου οι γιατροί είχαν τοποθετήσει ηλεκτρόδια για να αναζητήσουν επιληπτικές κρίσεις. Αυτός είναι μέρος του γιατί τα αναδημιουργημένα τραγούδια ακούγονται σαν να παίζονται υποβρύχια.

 

Άλλες ομάδες κάνουν παρόμοια πειράματα χρησιμοποιώντας μη επεμβατικούς σαρωτές εγκεφάλου, όπως λειτουργική μαγνητική τομογραφία ή fMRI, η οποία παρέχει λιγότερο λεπτομερή μέτρηση της δραστηριότητας αλλά σαρώνει ολόκληρο τον εγκέφαλο.

 

Ο Yu Takagi, νευροεπιστήμονας στο Πανεπιστήμιο της Οσάκα, συνεργάστηκε φέτος με επιστήμονες της Google για να χρησιμοποιήσει δεδομένα fMRI για να προσδιορίσει το είδος μουσικής που άκουγε ένας εθελοντής ενώ βρισκόταν σε σαρωτή εγκεφάλου.

 

Ο Δρ Takagi είπε ότι η νέα μελέτη ήταν σημαντική επειδή έδειξε ότι θα μπορούσαν να συλλεχθούν σημαντικά δεδομένα από έναν σχετικά μικρό αριθμό νευρωνικών συστάδων. «Δεν χρειάζεσαι τόσα πολλά ηλεκτρόδια για να φτιάξεις κάτι ποιοτικό», είπε.

 

Η νέα έρευνα υπογράμμισε επίσης τι κάνει τη μουσική διαφορετική από την ομιλία. Όταν οι εθελοντές της μελέτης άκουσαν ένα τραγούδι, η δεξιά πλευρά του εγκεφάλου τους έτεινε να εμπλέκεται περισσότερο από την αριστερή, ενώ το αντίθετο συμβαίνει όταν οι άνθρωποι ακούν απλή ομιλία. Αυτό το εύρημα, που αναπαράγει προηγούμενες έρευνες, βοηθά να εξηγηθεί γιατί ορισμένοι ασθενείς με εγκεφαλικό που δεν μπορούν να μιλήσουν καλά μπορούν να τραγουδήσουν ξεκάθαρα προτάσεις.

 

«Είναι μια τεχνική περιοδεία», είπε ο Robert Zatorre, ένας νευροεπιστήμονας στο Πανεπιστήμιο McGill του οποίου το εργαστήριο καθόρισε πώς ο εγκέφαλος διαχωρίζει τους στίχους από τη μουσική χρησιμοποιώντας σαρώσεις εγκεφάλου. Αλλά για να παίξει ένα τραγούδι από το κεφάλι κάποιου; «Είναι μια πολύ ενδιαφέρουσα συνεισφορά», είπε.

 

 

πηγή: https://www.nytimes.com/2023/08/15/science/music-brain-pink-floyd.html?smtyp=cur

[Terry RoscoeBeck5]

Δυσνόητο, αλλά συνάμα εντελώς εντυπωσιακό θέμα.

[Flotzen]

Ευτυχώς που ανεβαίνουν και τέτοια θέματα και βλέπουμε ότι ξεφεύγουμε και προς την καλή κατεύθυνση και όχι μόνο προς την ανάποδη.

Συγκλονιστικό.

[harilatron]

8 ώρες πριν, Flotzen είπε

ξεφεύγουμε και προς την καλή κατεύθυνση

 

Βέβαια, θα σου βάζει το ηλεκτρόδιο η αστυνομία και θα ακούει με ποιον μίλησες και τι σου είπε. 

Αστειεύομαι, νομίζω ότι ποτέ δεν θα καταστεί εφικτό αυτό,  απλώς το αναφέρω για να επισημάνω ότι για κάθε καλή εφαρμογή υπάρχει και η "ανάποδη". 

[cos_dr]

Εγώ περιμένω όπως έχω πει και εύχομαι να προλάβω το να μεταφράζονται με μια βολική συσκευή ή και εμφύτευμα ακόμα καλύτερα οι μουσικές μου σκέψεις σε midi πληροφορία για να ελέγχω τον εξοπλισμό και να γράφω on the fly, να φαντάζομαι και το όργανο που θέλω να γράψω και να το επιλέγει και ΟΛΑ ΤΑ CONTROLS του καναλιού, τα εφφέ, τα φίλτρα κλπ για να δείξω και πόσο πραγματικά άξιος συνθέτης είμαι γιατί αυτά που σκέφτομαι βαριέμαι να τα γράφω και να τα επεξεργάζομαι με συμβατικούς τρόπους.

 

 Να δω ρε παιδί μου και σε πόσα κανάλια μπορώ να γράφω ταυτόχρονα πολλά όργανα με μια σκέψη γιατί μπορώ να το κάνω μέσα στο μυαλό μου.

 

 Και άργησαν, αυτά έπρεπε να είναι mainstream τώρα. Αλλά έχουν στοκάρει προφανώς συμβατικό εξοπλισμό, όπως τόσα χρόνια ακόμα εξαρτόμαστε από το πετρέλαιο, ή ακόμα δεν αποκαλύπτουν και δεν διαθέτουν θεραπείες για τις περισσότερες νόσους που έχουμε και στα εργαστήρια τις έχουν εξαλείψει. ε? χαχαχαχαχαχχαχαχαχα

 

 Ωραίο πάντως το άρθρο. Πολύ ενδιαφέρον!!!!