Нейрокомпьютинг, нейросети и нейрокомпьютеры

Часть 3. Аппаратная  и программная  реализация  нейровычислений

Нейросетевой подход к обработке данных (нейросетевые  вычисления) реализуется двояким способом. Во-первых, создаются программные имитаторы нейросетей на обычных компьютерах и через эти имитаторы пропускаются исследуемые задачи, т. е. имитируется параллельная работа нейросети во всех подробностях, хотя реальные вычисления производятся чисто последовательно. Тем не менее такой подход позволяет быстрее решать многие задачи на последовательном программном имитаторе параллельной работающей обученной нейросети.

В настоящее время создано несколько коммерческих эмуляторов разного типа нейросетей (ETE, CLAN, SNNS и др.).

Второй подход состоит в создании реальных нейрокомпьютеров с использованием достижений микроэлектроники, включающих в свой состав сотни и тысячи нейронов (узлов). Для этих же целей используются машины с массовым параллелизмом, нейрокомпьютерные вычисления  для  которых являются частным случаем параллельного решения задач.

Нейрокомпьютеры

Работы по созданию аппаратно реализованных нейрокомпьютеров ведут многие фирмы: Intel, Fujitsu, Neural Semiconductor и др.

Так фирма Fujitsu разработала аппаратно реализованную сеть на 256 узлов, которая, по мнению ее специалистов, в 2000 раз превосходит по быстродействию рабочие станции SPARC-10.

Быстродействие нейрокомпьютера определяется числом переключений в секунду. Под переключением понимается шаг работы нейросети, связанный с одновременным вычислением значений во всех узлах сети. Система Fujitsu обладает скоростью 500 млн. переключений в секунду (Mcups)

В Европе разработаны проекты Pygmalion и Callatea, целью которых является создание мощных нейрокомпьютеров и внедрение их в наукоемкие производства и научные разработки.

Многопроцессорные ускорительные платы

Особенностью нейросетевых методов обработки информации является высокая параллельность вычислений, и 
следовательно, целесообразность использования средств аппаратной поддержки, в частности плат-ускорителей. 
Такие платы работают параллельно с процессором обычного персонального компьютера и несут основную нагрузку вычислений.

В нашей стране также ведутся работы в этом многообещающем направлении. В частности, создана нейроплата, которая вставляется в свободный слот персонального компьютера (см. лекцию Аксенова О.Ю.)  В ее состав входит транспьютер, память для весовых коэффициентов, память для программ и данных и нейровычислитель.

Транспьютер осуществляет связь нейроплаты с персональным компьютером, на котором готовятся коэффициенты и данные для нейровычислителя и загрузки обучающей выборки. Собственно нейровычислитель обеспечивает 2 млн. переключений в секунду. Разрядность входных/выходных данных составляет либо 1 разряд, либо 8 разрядов. Блок-схема нейроплаты представлена на рис. 8.

Нейровычислитель представляет собой арифметический конвейер и не является параллельно работающей сетью, тем не менее он значительно ускоряет вычисления. Топология сети связи между узлами реализуется списочными структурами в памяти весовых коэффициентов входящих в узел дуг. 

К настоящему времени разработано несколько нейрокомпьютерных приставок к персональным компьютерам, содержащих в своем составе десятки вычислительных узлов-нейронов, которые работают действительно параллельно.

На базе мультипроцессорных систем ICL DAP, Computing Surface, AAP-2, Connection Maсhine (CM) успешно проводится моделирование нейронных сетей. Так на системе ICL DAP моделировалась полносвязная сеть Хопфилда, решающая задачи коммивояжера.

Условная производительность при решении задачи распознавании слов на этой установке оценивается в 25 млн. операций в секунду. Система ICL DAP использовалась также для анализа изображений в растре 64х64 элементов, при этом производительность оценивалась в 100 тыс. кадров в секунду. При этом следует учесть, что ICL DAP по своей номинальной производительности имеет весьма скромные технические характеристики.

Установка Computing Surface, состоящая из 30 транспьютеров, использовалась для обработки нейросетевым образом изображений на 256х256 точек. В максимальном варианте моделировалась трехслойная сеть из 5040 нейронов более чем с 5 млн. связей.

На машине СМ-5 фирмы ThM также велись успешные работы по эмуляции специальной нейросети NETtall с использованием уникальных возможностей этой установки по выполнению быстрой параллельной сортировки.

Ускорительные модули на TMS-процессорах

(Сазанов В.М.)

Построение ускорительных плат возможно на основе сигнальных процессоров типа TMS320, в качестве базовой операции позволяющих выполнять операции умножения с накоплением.

Структурная схема такой платы с 4-мя TMS-процессорами приведена ниже.

Разработка нейрокомпьютеров на программируемых матрицах

Быстро и недорого реализовать нейросетевой алгоритм позволяет использование программируемых логических интегральных схем (ПЛИС) с последующим переходом к выпуску нейрочипа на базовых матричных кристаллах (БМК).

Мощные современные программные пакеты автоматизации проектирования XILINX  и ALTERA включают следующие готовые модули для модульного проектирования:

-         быстрое преобразование Фурье;

-         цифровые фильтры;

-         умножители;

-         корреляторы;

-         схемы интерфейса с хост-машиной, клавиатурой, пользователем;

-         интерфейсы с аналого-цифровыми и цифро-аналоговыми преобразователями.

Пакет проектирования программируемых логических схем XILINX Foundation включает в себя весь комплекс средств проектирования, начиная с описания внутреннего содержимого всего устройства до загрузки конфигурации ПЛИС и отладки не печатной плате. (см. А.И.Галушкин. Нейрокомпьютеры. Книга 3) 

Основные составляющие пакета:

- схемотехнический редактор;

- редактор диаграмм состояний; 

- VHDL-синтезатор;

- VHDL-моделятор;

- топологический редактор;

- графический редактор временной оптимизации;

- трассировщик;

- утилиты работы с программатором.

Более подробно аппаратная реализация нейровычислений изложена в лекции 
к.т.н. Аксенова Олега Юрьевича, ведущего сотрудника НТЦ "Модуль" >>

 Литература

1. Каталог коммерческих изделий Научного центра нейрокомпьютеров. М.: Изд-во РАН, 1993.

2. Нейрокомпьютер, 1993–1994. № 1–3.

3. Ту Дж., Гонсалес Р. Принципы распознавания образов: Пер. с англ. М.: Мир, 1978.

4. Haykin S. Neural Networks – A Comprehensive Foundation. MacMillan College Publishing Company, 1994.

5. Ежов А. А., Шумский С. А. Нейрокомпьютинг и его применение в экономике и бизнесе. М.: МИФИ, 1998.

6. Королев Л. Н. Микропроцессоры, микро- и мини-ЭВМ. М., Изд-во МГУ, 1989.

7. Журавлев Ю. И. Непараметрические задачи распознавания образов. Кибернетика, 1976, № 6.

8. Banzhaf W. e. a. Genetic Programming – An Introduction. MK Publishers, Inc. San Francisco,1998.

9. Осовский С. Нейронные сети для обработки информации. М., Финансы и статистика, 2002.

10. www.com2com.ru/dav/framettl.htm

11. Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры. М.: МГТУ им. Н. Э. Баумана, 2002.

12.  Ю.Борисов, В. Кашкаров, С. Сорокин.  Нейросетевые методы обработки информации и средства их программно-аппаратной поддержки. Открытые системы, №4 1997.

13. Сайт НТЦ «Модуль» - www.module.ru

14. Нейрокомпьютеры и их применение. Книга 5. Нейронные сети: история развития теории. Под общей ред. А.И. Галушкина, Я.З. Цыпкина. – М. ИПРЖР, 2001. 840 с.

15. Нейрокомпьютеры и их применение. Книга 3. Нейрокомпьютеры. Учеб. пособие для вузов.  / Общая ред. А.И. Галушкин. – М. ИПРЖР, 2000. 528 с.

16. Обзор Кузнецова А.В.  Нейрокомпьютинг: история, состояние, перспективы. – www.uran.donets.ua

17. W. Bonzhaf, P. Nordin, R. E. Keller, F.D. Francone. Genetic Programming – An Introduction, Verlag fur digitale Technologie CmbH, Heidelberg, 1998.