Категории
media

Новый тип нейронной сети, созданный с помощью мемристоров, может значительно повысить эффективность обучающих машин, запрограммировав их мыслить как люди.

Сеть, называемая резервуарной вычислительной системой, может предсказать слова до того, как они будут сказаны во время разговора, и поможет предсказать будущие результаты на основе текущих данных.
Исследовательская группа, которая создала резервуарную вычислительную систему, возглавляемую Вей Лу, профессором электротехники и информатики Мичиганского университета, недавно опубликовала свою работу в  Nature Communications.

Резервуарные вычислительные системы, которые улучшают типичную емкость нейронной сети и сокращают требуемое время обучения, были созданы в прошлом с более крупными оптическими компонентами. Однако группа исследователей создала свою систему с использованием мемристоров, которые требуют меньше места и могут быть легко интегрированы в существующую кремниевую электронику.
Memristors - особый тип резистивного устройства, которое может одновременно выполнять логику и хранить данные. Это контрастирует с типичными компьютерными системами, где процессоры выполняют логику отдельно от модулей памяти. В этом исследовании команда Вей Лу использовала специальный мемристор, который запоминает события только из ближайшего прошлого.

Вдохновленные работой человеческого мозга, нейронные сети состоят из нейронов или узлов и синапсов, соединённых между собой узлами.

Для обучения нейронная сеть принимает большой набор вопросов и ответов на эти вопросы. В процессе такого контролируемого обучения, связи между узлами определяются как более сильные или более слабые, что позволяет свести к минимуму количество ошибок при достижении правильного ответа.
После обучения, нейронная сеть может быть протестирована, заранее не зная ответа. Например, система может обрабатывать новую фотографию и правильно идентифицировать человеческое лицо, потому что она изучила особенности человеческих лиц из других фотографий в своем наборе тренировок.
Для такого обучения сети требуется много времени, оно может занять несколько дней или месяцев. И это очень дорого.

Также следует отметить, что распознавание изображений является относительно простой проблемой, поскольку она не требует никакой информации, кроме статического изображения. Более сложные задачи, такие как распознавание речи, могут сильно зависеть от контекста и требуют, чтобы нейронные сети знали о том, что только что произошло, или о том, что только что было сказано.

Для этого требуется рекуррентная нейронная сеть, включающая в себя петли в сети, которые придают сети эффект памяти. Тем не менее, обучение этих рекуррентных нейронных сетей особенно дорого.
Однако резервуарные вычислительные системы, построенные с помощью мемристоров, могут пропустить большую часть дорогостоящего учебного процесса и по-прежнему обеспечивают возможность запоминания сети. Это связано с тем, что самый важный компонент системы - резервуар - не требует обучения.

Когда набор данных вводится в резервуар, он идентифицирует важные связанные с временем функции данных и передает его в более простом формате во вторую сеть. Эта вторая сеть нуждается только в обучении, как в простых нейронных сетях, результат после проверки данных (обучения), вторая сеть передаёт первой в момент, когда достигнут приемлемый уровень ошибки.

Команда доказала концепцию расчета резервуаров, используя тест распознавания рукописного ввода, общий критерий для нейронных сетей. Числа разбиты на строки пикселей и подают в компьютер с такими напряжениями, как код Морзе, с нулевым напряжением для темного пикселя и чуть более одного вольта для белого пикселя.

Используя только 88 мемристоров в качестве узлов для идентификации рукописных версий цифр, по сравнению с обычной сетью, для которой требуются тысячи узлов для задачи, резервуар достиг 91-процентной точности.
Резервуарные вычислительные системы особенно полезны при обработке данных, которые изменяются со временем, например поток данных/слов, или функция в зависимости от прошлых результатов.

Чтобы продемонстрировать это, команда проверила сложную функцию, которая зависела от нескольких результатов в прошлом, что характерно для инженерных областей. Из этого следует, что в резервуарной вычислительной системе есть возможность моделировать сложную функцию с минимальной ошибкой.

Comments: 0

No comments

Leave a Reply

Your email address cannot be published. Required fields are marked*