Naukowcy z Uniwersytetu Kalifornijskiego w San Francisco opracowali dwujęzyczny implant mózgowy wykorzystujący sztuczną inteligencję, który pomaga ofierze udaru komunikować się po hiszpańsku i angielsku.

Blisko tuzin naukowców z uniwersyteckiego Centrum Inżynierii Neuronalnej i Protez przez kilka lat pracował nad systemem dekodującym, który mógłby przekształcać aktywność mózgu mężczyzny w zdania w obu językach i wyświetlać je na ekranie.

Artykuł opublikowany 20 maja w Nature Biomedical Engineering opisuje badania nad Pancho, który w wieku 20 lat doznał ciężkiego paraliżu w wyniku udaru mózgu wczesnych lat 2000. Pancho potrafi jęczeć i stękać, ale nie może artykułować wyraźnych słów. Jest native speakerem hiszpańskiego, który nauczył się angielskiego jako dorosły.

Pod kierownictwem dr Edwarda Changa, neurochirurga i współdyrektora Centrum Inżynierii Neuronalnej i Protez, Pancho otrzymał implant neuronowy w lutym 2019 roku, co pozwoliło naukowcom na śledzenie jego aktywności mózgu.

Korzystając z metody AI znanej jako sieć neuronowa, badacze byli w stanie wytrenować implant Pancho do dekodowania słów na podstawie aktywności mózgu, jaka powstaje, gdy próbuje je artykułować. Ta metoda treningu AI pozwala implantowi mózgowemu, znanemu naukowo jako urządzenie interfejsu mózg-komputer, przetwarzać dane w sposób podobny do ludzkiego mózgu.

Do 2021 roku technologia ta znacząco pomogła przywrócić Pancho zdolność do komunikacji, ale tylko w języku angielskim.

„Dekodowanie mowy było dotąd pokazane głównie dla osób monolingwalnych, ale połowa świata jest dwujęzyczna, a każdy język wpływa na osobowość i światopogląd danej osoby,” napisała grupa badawcza Changa na portalu X. „Istnieje potrzeba opracowania dekoderów umożliwiających dwujęzycznym osobom komunikację w obu językach.”

Jednak badania z 2021 roku posłużyły za fundament do opracowania systemu dekodującego, który później uczynił implant mózgowy Pancho dwujęzycznym w hiszpańskim i angielskim.

Po odkryciu, że mózg Pancho wykazuje „aktywność korową” w obu językach lata po jego paraliżu, naukowcy zrozumieli, że mogą to wykorzystać do wytrenowania dwujęzycznego implantu mózgowego bez potrzeby trenowania osobnych systemów dekodujących dla każdego języka.

„Wykorzystaliśmy to odkrycie, aby pokazać transfer uczenia się między językami. Dane zebrane w pierwszym języku mogą znacząco przyspieszyć trening dekodera w drugim języku,” stwierdziła grupa badawcza Changa na portalu X, ponieważ opiera się to na aktywności mózgu wywołanej „zamierzonymi ruchami toru głosowego uczestnika, niezależnie od języka.”

W 2022 roku naukowcy przystąpili do udowodnienia tej tezy. Ponownie użyli sztucznej sieci neuronowej, aby wytrenować implant mózgowy Pancho na podstawie specyficznej aktywności neuronowej generowanej przez jego dwujęzyczną mowę.

Zgodnie z wynikami badań, Pancho był w stanie korzystać z dwujęzycznego systemu dekodującego, aby „uczestniczyć w rozmowie, przełączając się między językami w zależności od preferencji.”

Badanie ostatecznie pokazuje „możliwość istnienia dwujęzycznej neuroprotez mowy,” czyli dwujęzycznego implantu mózgowego, i daje wgląd w to, jak tego typu technologia ma „potencjał przywrócenia bardziej naturalnej komunikacji” wśród dwujęzycznych osób z paraliżem, zgodnie z artykułem z 20 maja.

Źródło: Yahoo News