Catégories
Transhumanisme

Science mag : Artificial intelligence turns brain activity into speech

Artificial intelligence turns brain activity into speech

For many people who are paralyzed and unable to speak, signals of what they’d like to say hide in their brains. No one has been able to decipher those signals directly. But three research teams recently made progress in turning data from electrodes surgically placed on the brain into computer-generated speech. Using computational models known as neural networks, they reconstructed words and sentences that were, in some cases, intelligible to human listeners.

None of the efforts, described in papers in recent months on the preprint server bioRxiv, managed to re-create speech that people had merely imagined. Instead, the researchers monitored parts of the brain as people either read aloud, silently mouthed speech, or listened to recordings. But showing the reconstructed speech is understandable is « definitely exciting, » says Stephanie Martin, a neural engineer at the University of Geneva in Switzerland who was not involved in the new projects.

People who have lost the ability to speak after a stroke or disease can use their eyes or make other small movements to control a cursor or select on-screen letters. (Cosmologist Stephen Hawking tensed his cheek to trigger a switch mounted on his glasses.) But if a brain-computer interface could re-create their speech directly, they might regain much more: control over tone and inflection, for example, or the ability to interject in a fast-moving conversation.

The hurdles are high. « We are trying to work out the pattern of … neurons that turn on and off at different time points, and infer the speech sound, » says Nima Mesgarani, a computer scientist at Columbia University. « The mapping from one to the other is not very straightforward. » How these signals translate to speech sounds varies from person to person, so computer models must be « trained » on each individual. And the models do best with extremely precise data, which requires opening the skull.

Researchers can do such invasive recording only in rare cases. One is during the removal of a brain tumor, when electrical readouts from the exposed brain help surgeons locate and avoid key speech and motor areas. Another is when a person with epilepsy is implanted with electrodes for several days to pinpoint the origin of seizures before surgical treatment. « We have, at maximum, 20 minutes, maybe 30, » for data collection, Martin says. « We’re really, really limited. »

The groups behind the new papers made the most of precious data by feeding the information into neural networks, which process complex patterns by passing information through layers of computational « nodes. » The networks learn by adjusting connections between nodes. In the experiments, networks were exposed to recordings of speech that a person produced or heard and data on simultaneous brain activity.

Mesgarani’s team relied on data from five people with epilepsy. Their network analyzed recordings from the auditory cortex (which is active during both speech and listening) as those patients heard recordings of stories and people naming digits from zero to nine. The computer then reconstructed spoken numbers from neural data alone; when the computer « spoke » the numbers, a group of listeners named them with 75% accuracy.

A computer reconstruction based on brain activity recorded while a person listened to spoken digits.

H. Akbari et al., doi.org/10.1101/350124

Another team, led by computer scientist Tanja Schultz at the University Bremen in Germany, relied on data from six people undergoing brain tumor surgery. A microphone captured their voices as they read single-syllable words aloud. Meanwhile, electrodes recorded from the brain’s speech planning areas and motor areas, which send commands to the vocal tract to articulate words. Computer scientists Miguel Angrick and Christian Herff, now with Maastricht University, trained a network that mapped electrode readouts to the audio recordings, and then reconstructed words from previously unseen brain data. According to a computerized scoring system, about 40% of the computer-generated words were understandable.

Original audio from a study participant, followed by a computer recreation of each word, based on activity in speech planning and motor areas of the brain.

M. Angrick et al., doi.org/10.1101/478644

Finally, neurosurgeon Edward Chang and his team at the University of California, San Francisco, reconstructed entire sentences from brain activity captured from speech and motor areas while three epilepsy patients read aloud. In an online test, 166 people heard one of the sentences and had to select it from among 10 written choices. Some sentences were correctly identified more than 80% of the time. The researchers also pushed the model further: They used it to re-create sentences from data recorded while people silently mouthed words. That’s an important result, Herff says— »one step closer to the speech prosthesis that we all have in mind. »

However, « What we’re really waiting for is how [these methods] are going to do when the patients can’t speak, » says Stephanie Riès, a neuroscientist at San Diego State University in California who studies language production. The brain signals when a person silently « speaks » or « hears » their voice in their head aren’t identical to signals of speech or hearing. Without external sound to match to brain activity, it may be hard for a computer even to sort out where inner speech starts and ends.

Decoding imagined speech will require « a huge jump, » says Gerwin Schalk, a neuroengineer at the National Center for Adaptive Neurotechnologies at the New York State Department of Health in Albany. « It’s really unclear how to do that at all. »

One approach, Herff says, might be to give feedback to the user of the brain-computer interface: If they can hear the computer’s speech interpretation in real time, they may be able to adjust their thoughts to get the result they want. With enough training of both users and neural networks, brain and computer might meet in the middle.

*Clarification, 8 January, 5:50 p.m.: This article has been updated to clarify which researchers worked on one of the projects. 

Catégories
Armes electroniques

Clubic : Un laser capable de vous envoyer un son sans que personne d’autre ne l’entende.

Des chercheurs du MIT ont mis au point un dispositif permettant d’envoyer un son directement à l’oreille d’une personne. Reposant sur un système de laser, il est capable de transmettre précisément un signal audio, de sorte que seul le destinataire puisse l’entendre.

Et si on pouvait transmettre les sons aussi précisément que la lumière via un laser ? C’est le résultat qu’ont obtenu des chercheurs du Laboratoire Lincoln, du MIT (États-Unis).

Lumière + vapeur d’eau = son

Les scientifiques se sont en effet inspirés du fonctionnement du laser. Leur système repose sur la photoacoustique, c’est-à-dire la génération d’ondes sonores à partir d’interactions entre la lumière et la matière. En l’occurrence, c’est la vapeur d’eau contenue dans l’air qui réagit avec l’émetteur laser élaboré par les chercheurs, pour produire le signal audio.

De plus, les auteurs de l’étude ont réussi à exploiter une longueur d’onde fortement absorbée par l’eau, ce qui permet d’augmenter la puissance et la qualité du son produit. Par conséquent, leur dispositif peut fonctionner même dans un environnement relativement sec, ne nécessitant qu’une quantité restreinte de vapeur d’eau.

Un « laser sonore » précis et sûr

Le système ainsi créé permet donc de générer un flux audio et de le transmettre de façon précise jusqu’à son destinataire, et uniquement à celui-ci, même dans un environnement bruyant. Et ce, sans risque pour les yeux ni la peau.

Les tests réalisés ont prouvé son efficacité à une distance de 2,5 m, ce qui reste encore assez limité. Mais d’après les scientifiques, ce résultat n’a été obtenu qu’avec du matériel disponible dans le commerce, et cette performance pourrait donc être aisément améliorée. Ce qui offrirait la possibilité de chuchoter à l’oreille d’une personne, à plusieurs mètres de distance.

Source : BGR


Toujours présenté pour une bonne cause, en omettant les graves dérives possibles. Il n’ échappera bien évidement qu’à l’auteur de l’article, que ceci rend obsolète les diagnostiques psychiatriques concernant la schizophrénie. Tellement insignifiant qu’il est absolument inutile de le mentionner… De même, est il bien nécessaire de parler de voice to skull, la « voix de Dieu » ?

WASHINGTON — Researchers have demonstrated that a laser can transmit an audible message to a person without any type of receiver equipment. The ability to send highly targeted audio signals over the air could be used to communicate across noisy rooms or warn individuals of a dangerous situation such as an active shooter.


New Technology Uses Lasers to Transmit Audible Messages to Specific People

Photoacoustic communication approach could send warning messages through the air without requiring a receiving device

WASHINGTON — Researchers have demonstrated that a laser can transmit an audible message to a person without any type of receiver equipment. The ability to send highly targeted audio signals over the air could be used to communicate across noisy rooms or warn individuals of a dangerous situation such as an active shooter.

 

In The Optical Society (OSA) journal Optics Letters, researchers from the Massachusetts Institute of Technology’s Lincoln Laboratory report using two different laser-based methods to transmit various tones, music and recorded speech at a conversational volume.

“Our system can be used from some distance away to beam information directly to someone’s ear,” said research team leader Charles M. Wynn. “It is the first system that uses lasers that are fully safe for the eyes and skin to localize an audible signal to a particular person in any setting.”

Creating sound from air

The new approaches are based on the photoacoustic effect, which occurs when a material forms sound waves after absorbing light. In this case, the researchers used water vapor in the air to absorb light and create sound.

“This can work even in relatively dry conditions because there is almost always a little water in the air, especially around people,” said Wynn. “We found that we don’t need a lot of water if we use a laser wavelength that is very strongly absorbed by water. This was key because the stronger absorption leads to more sound.”

One of the new sound transmission methods grew from a technique called dynamic photoacoustic spectroscopy (DPAS), which the researchers previously developed for chemical detection. In the earlier work, they discovered that scanning, or sweeping, a laser beam at the speed of sound could improve chemical detection.

“The speed of sound is a very special speed at which to work,” said Ryan M. Sullenberger, first author of the paper. “In this new paper, we show that sweeping a laser beam at the speed of sound at a wavelength absorbed by water can be used as an efficient way to create sound.”

Laboratory tests

In the lab, the researchers showed that commercially available equipment could transmit sound to a person more than 2.5 meters away at 60 decibels using the laser sweeping technique. They believe that the system could be easily scaled up to longer distances. They also tested a traditional photoacoustic method that doesn’t require sweeping the laser and encodes the audio message by modulating the power of the laser beam.

“There are tradeoffs between the two techniques,” said Sullenberger. “The traditional photoacoustics method provides sound with higher fidelity, whereas the laser sweeping provides sound with louder audio.”

Next, the researchers plan to demonstrate the methods outdoors at longer ranges. “We hope that this will eventually become a commercial technology,” said Sullenberger. “There are a lot of exciting possibilities, and we want to develop the communication technology in ways that are useful.”

Paper: R. M. Sullenberger, S. Kaushik, C. M. Wynn. “Photoacoustic communications: delivering audible signals via absorption of light by atmospheric H2O,” Opt. Lett., 44, 3, 622-625 (2019).
DOI: https://doi.org/10.1364/OL.44.000622.

About Optics Letters
Optics Letters offers rapid dissemination of new results in all areas of optics with short, original, peer-reviewed communications. Optics Letters covers the latest research in optical science, including optical measurements, optical components and devices, atmospheric optics, biomedical optics, Fourier optics, integrated optics, optical processing, optoelectronics, lasers, nonlinear optics, optical storage and holography, optical coherence, polarization, quantum electronics, ultrafast optical phenomena, photonic crystals and fiber optics.

About The Optical Society

Founded in 1916, The Optical Society (OSA) is the leading professional organization for scientists, engineers, students and business leaders who fuel discoveries, shape real-life applications and accelerate achievements in the science of light. Through world-renowned publications, meetings and membership initiatives, OSA provides quality research, inspired interactions and dedicated resources for its extensive global network of optics and photonics experts. For more information, visit osa.org.

Catégories
Transhumanisme

Usbek & Rica: Interfaces neurales : vers un cauchemar à la Matrix ?

Interfaces neurales : vers un cauchemar à la Matrix ?


Je cite:

Par-delà toutes les applications futures intéressantes des BCI, il s’agit d’une technologie qui pourrait être utilisée pour accéder aux représentations d’un individu contre son gré, voire pour contrôler ou manipuler ces représentations. Les BCI peuvent conduire à mettre en péril la protection de la vie privée, voire de l’identité des personnes

Ce qui, les Ti le disent, est une réalité ! Les recherches et les mises en application, contre des humains non consentants, sont à l’état avancé. Une dictature digne des pires cauchemars s’exerce sur les Ti, qui pour l’instant sont encore pris pour des fous, schyso etc… Thin foil, chapeau d’alu (ou d’hallu…), psychiatrisation des cobayes humains qui lancent l’alerte, est notre lot quotidien.


 

Les interfaces neurales, invasives ou non invasives, deviennent peu à peu une réalité. Si des obstacles techniques subsistent, de nombreuses questions éthiques sont amenées à surgir, souligne PRESANS, spécialiste de l’innovation industrielle, dans le cadre de l’événement DYSTOPIA, qui se tiendra le 5 mars 2019 au Centre Pompidou à Paris.

« Le design idéal d’une interface est celui qui fait oublier à l’utilisateur qu’elle existe. L’interface parfaite est celle à laquelle on ne pense plus quand on s’en sert. » Conception du design naïve ? L’apparition d’interfaces neurales nous incite certainement à nous poser la question…

Une interface neurale, ou brain-computer interface (BCI), c’est par exemple ce que Facebook développe actuellement afin de permettre à ses utilisateurs de taper des messages sans les mains. De son côté, la startup d’Elon Musk Neuralink développe une interface invasive « à bande passante ultra élevée ».

Prototypes peu fiables

De quoi s’agit-il ? Une interface neurale est un système permettant à un utilisateur de contrôler et de communiquer avec un autre système, par exemple un ordinateur, sans faire appel au système moteur, uniquement par l’activité cérébrale. La connexion avec le cerveau ne s’effectue pas au niveau des canaux de sortie nerveux ou musculaires, mais s’opère directement, soit par l’implantation de capteurs à l’intérieur du cerveau (BCI invasive), soit par des techniques externes d’imagerie cérébrale, le plus souvent d’électroencéphalographie (BCI non invasive). L’activité électrique des neurones à l’intérieur du cerveau est mesurée et analysée grâce à des algorithmes de traitement du signal et d’apprentissage automatique. Une BCI unidirectionnelle permet soit d’envoyer, soit de recevoir des signaux. Une BCI bidirectionnelle peut effectuer les deux opérations.

Les BCI non invasives restent pour la plupart des prototypes non utilisés en dehors des laboratoires, en raison de leur faible fiabilité. En dépit des avancées et d’un nombre considérable de recherches en cours, les BCI non invasives actuellement en utilisation tendent à présenter deux grandes lacunes. D’une part, environ 20 % des utilisateurs ne parviennent pas à contrôler l’interface, ce qui limite l’universalité des BCI. D’autre part, le code des signaux associés à l’activité électrique des neurones varie pour un même individu dans le temps, et entre individus. Cette non-stationnarité complique la tâche du décodage des signaux cérébraux. L’amélioration des algorithmes de traitement des signaux ne suffit pas pour faire fonctionner une BCI si l’utilisateur ne parvient pas à exécuter des commandes. Ces lacunes peuvent être réduites par l’amélioration de la formation des utilisateurs, ainsi que par l’amélioration du traitement du signal.

Perte d’identité, perte d’unité

Dans le cas des BCI invasives, les performances sont dans l’ensemble très supérieures grâce à un meilleur débit de la quantité des informations transférées, ainsi qu’à l’accès à un nombre plus élevé de dimensions de contrôle. Les applications des BCI incluent actuellement la recherche en neuroscience et la restauration de fonctions dans un cadre médical, à commencer par les implants cochléaires. Les applications potentielles vont du divertissement procuré par les jeux vidéo aux applications militaires telles que le contrôle d’un groupe de drones semi-autonomes.

Sur le plan du hardware, les BCI commercialisés sont actuellement toutes non invasives. Cependant des BCI invasives sont en cours de développement. Sur le plan du software, l’amélioration du traitement des signaux cérébraux passe par l’invention de meilleurs algorithmes, éventuellement en recourant à des techniques d’intelligence artificielle.

Les BCI existantes peuvent être bénéfiques aux individus en restaurant divers degrés de contrôle moteur ou de communication. Le recours aux BCI invasives peut être justifié par une meilleure efficacité. En cas de patients coupés du monde, l’interface neurale rend envisageable la restauration d’une capacité de communication, mais ne peut par elle-même indiquer dans quelle mesure le patient a pleinement conscience de sa situation.

Par-delà toutes les applications futures intéressantes des BCI, il s’agit d’une technologie qui pourrait être utilisée pour accéder aux représentations d’un individu contre son gré, voire pour contrôler ou manipuler ces représentations. Les BCI peuvent conduire à mettre en péril la protection de la vie privée, voire de l’identité des personnes. Joël de Rosnay envisage ainsi que la possibilité d’interfacer directement des cerveaux entre eux pourrait conduire à la perte du sentiment d’unité et d’identité des individus. Autre possibilité dystopique : les interfaces neurales dans Matrix, quoique laissant intact le sentiment d’identité, substituent un monde virtuel à la perception normale de la réalité. Sauf que l’interface est ici une interface à l’usage des machines. Et si l’interface neurale parfaite, c’était cela ?