Лучшие технологии чтения чужих мыслей

Внутренний голос расскажет все

Исследователи из Калифорнийского университета в Беркли работают над созданием декодера, способного считать мысли человека, а также отображать их в видеоформате. Когда человек  читает газету или книгу, он слышит звучащий в голове внутренний голос. Такая виртуальная речь является следствием мозговой деятельности, и, если расшифровать возникающие в ходе этого процесса образы, можно выяснить, о чем думает человек. 

Возглавивший исследование Брайан Пэсли поясняет, что когда человек слышит речь, акустические колебания воздуха возбуждают сенсорные нейроны в его внутреннем ухе. Сигналы от этих нейронов передаются в мозг, который путем сложной обработки интерпретирует звуки в слова. Именно на стадии обработки звуковых сигналов в мозге сконцентрировала внимание группа Брайана Пэсли.

В своих исследованиях ученые работали с пациентами, которым для борьбы с эпилепсией уже были внедрены электроды в определенные участки мозга. Записи сигналов мозговой деятельности, снятых при помощи электродов, показали, что в мозге присутствуют группы нейронов, реагирующих на звуки с различными характеристиками, к примеру, одна группа возбуждалась при звуке, частотой в 1000 Герц, другая - в 2000 Герц. На базе этой информации составили компьютерную программу, которая может распознать звуки и расшифровать слова, услышанные испытуемыми. Позже ученые выяснили, что алгоритм, способный услышать то, что слышит человек, способен "читать" и его мысли.

Видео мыслей

Чуть позже команда Брайана Пэсли научилась создавать видео мыслей человека. Данная технология работает на тех же принципах, что и чтение картины мозговой деятельности. Установка функционального магнитно-резонансного сканирования считывает образы, которые появляются в мозгу у человека, когда он смотрит видео, а затем проводит корреляцию этих образов с изображением на экране. На основе таких данных создана компьютерная модель, которая соотносит картины мозговой деятельности с изображениями. Для этого ученые накопили огромную базу данных, включившую 18 миллионов секунд видеороликов, взятых на YouTube, и образы мозговых волн, соответствующих этим видеороликам.

Алгоритмы программного обеспечения выбирали наиболее близкие по содержанию видеоролики уже через одну-две секунды после начала анализа мозговой деятельности. Затем мысленные образы и выбранные видеофрагменты объединялись, демонстрируя картину мыслей.

Технологию будут использовать для разработки устройств, получающих видеоизображение прямо из мозга людей. Они, в частности, помогут пациентам, которые не могут говорить в силу различных причин физиологического или психологического характера. Увеличение разрешающей способности датчиков и более совершенные алгоритмы программной обработки сигналов позволят также создавать портативные устройства, которые найдут применение в самых разных сферах. Так, дизайнер сможет сразу увидеть на экране воплощение своих идей. Такие аппараты смогут служить и для записи сновидений, а также проведения исследований в области психологии и психиатрии.

Книга из мозга

Специалисты из нидерландского университета Неймегена, создали программу, позволяющую воспроизводить то, что читает человек без произношения текста вслух. Возглавивший проект Марсель ван Джервен рассказывает, что интересующую часть головного мозга условно разбили на участки (объемные пикселы), размером 2х2х2 миллиметра, и вся дальнейшая математическая обработка оперировала значениями среднего уровня активности нервных тканей каждого из участков. Выполняя ряд сложных преобразований, удалось восстановить изображения рассматриваемых объектов, а также нечеткие, но вполне узнаваемые изображения символов текста.

После этого ученые ввели в математическую модель данные о том, как на самом деле выглядят символы текста. Это значительно улучшило способность программы его распознавать: она сравнивает получаемые данные с начертаниями каждого символа и выбирает тот, который наиболее точно подходит к считанному из мозга образу. В результате получается содержание, максимально приближенное к реальному.

Со временем ученые намереваются использовать технологию для воспроизведения того, что человек видел и читал ранее, также его сны и фантазии. Достичь этого позволит мощный сканер MRI, который способный предоставить данные с более высокой точностью и разрешающей способностью. Это позволит оперировать большим количеством объемных пикселов (15 тыс. против 1,2 тыс. нынешних).

Читай по губам!

Спецслужбы и правоохранительные органы разных стран мира используют программы, которые по движениям губ, челюстей и мышц лица человека могут распознать слова, которые произносит человек. Но интонации и эмоциональная составляющая таким программам были не по зубам.

Используя высокоскоростную камеру, делающую тысячи кадров в секунду, исследователям из университета Васеда в Токио удалось сделать запись даже мельчайших колебаний поверхности кожи лица и шеи человека, которыми сопровождаются звуки, исходящие от голосовых связок. После съемки специализированная компьютерная программа, основанная на сложнейших алгоритмах, превратила снятые колебания кожи в голос человека. При этом сохранилось не только содержание, но и все интонации, определяющие эмоциональную окраску речи.

По словам руководителя научной группы Ясухиро Оикоа, камера снимала с частотой 10 тысяч кадров в секунду. Для сравнения, в обычном видео используется съемка с частотой 24 кадра в секунду, а особо качественное видео снимается с частотой 60-80 кадров в секунду. Голос добровольцев записывался с помощью обычного микрофона, а колебания кожи их лица и горла регистрировались с помощью датчиков-виброметров.

Компьютерная программы выдала рассчитанную на основе визуальных данных последовательность звуковых колебаний, которые затем сравнили с реальными, записанными с помощью микрофона и виброметров. Выяснилось, что компьютерные данные почти полностью совпадали с действительностью. Проигрывая получившийся звуковой файл, исследователи смогли достаточно четко распознать отдельные фразы и голосовые интонации. Технология, в первую очередь, будет использоваться правоохранительными органами при расследовании обстоятельств преступлений, однако Ясухиро Оикоа уверен, что этой сферой пименение технологии не ограничится.