Часть 2.  Аппаратная база

Цель данного раздела – продемонстрировать историю создания программных, и в первую очередь, аппаратных реализаций ИНС отдельным разработчиком. Предлагаемые подходы к реализации ИНС в значительной мере определяются особенностями конкретного разработчика. Поэтому для начала представляется целесообразным дать ему короткую характеристику.

Разработчик

Основное направление деятельности НТЦ “Модуль” (http://www.module.ru) связано с созданием  прикладных систем цифровой обработкой информации. Причем, многообразие систем, созданных за полтора десятка лет, определяет то, что ИНС не обязательно является основным способом обработки информации в разрабатываемых системах. В результате создаваемые аппаратные средства, как правило, обладают определенной универсальностью, позволяющей эффективно воспроизводить на них как ИНС, так и не связанные с ИНС алгоритмы обработки информации.

Специфика данного разработчика в том, что этот коллектив, как правило, обеспечивает комплексный подход к созданию систем обработки информации. Это подразумевает создание силами одного разработчика:

·        микросхем (сигнальный процессор, «система на кристалле», контроллер);

·        системного программного обеспечения, обеспечивающего, в частности функционирование этих микросхем;

·        макетных устройств для отладки функционального программного обеспечения;

·        специализированных вычислителей, в том числе и в «бортовом» исполнении;

·        функционального программного обеспечения, решающего прикладные задачи обработки информации.

Массовые операции

Для иллюстрации используемых подходов целесообразно кратко напомнить отдельные моменты из области теории ИНС.

Исследования в области ИНС, проводимые различными авторами, позволили определить ряд конфигураций элементов и способов обучения ИНС, показавших свою эффективность. Не останавливаясь на описании этих «парадигм», информацию о наиболее характерных из которых можно подчеркнуть, например, в [1,[2]], следует отметить, что ИНС, как правило, состоят из большого числа однотипных элементов – нейронов. Каждый из нейронов при этом связан с соседями. В предельном случае он связан со всеми остальными нейронами сети. Именно большое количество нейронов и связей между ними обеспечивают такие наиболее интересные свойства ИНС как, например, способность к обучению, запоминанию, обобщению и т.п.

Прежде всего, представляется полезным определить основные действия, которые требуется выполнять при реализации ИНС.

Рисунок 3 отображает типичный фрагмент ИНС, каждый из слоев которой содержит  нейронов. Нейроны на рисунке изображены окружностями, связи между ними (синапсы) – стрелками. Число нейронов в такой сети составляет . При общее число нейронов в сети равно . Отдельный блок такой сети – -ый нейрон  -ого слоя – на рисунке выделен утолщенными линиями. При функционировании сети он осуществляет операцию:

,                                                                                            

где:     - функция активации нейрона;

, - порядковый номер нейрона в слое;

- выходной сигнал -ого нейрона, принадлежащего -ому слою;

- весовой коэффициент, соответствующей связи между -ым нейроном -ого слоя и -ым нейроном -ого слоя.

Рисунок 3. Типичный фрагмент ИНС

Здесь и далее такой характерный параметр, как входное «смещение» нейрона, для простоты не рассматривается, хотя при реализации используется.

Наиболее характерные функции активации нейрона представляет Рисунок 4.

Рисунок 4. Функции активации нейрона.

Приведенное выражение для выходного сигнала отдельного нейрона описывает операцию, которая при реализации ИНС многократно (по числу нейронов) повторяется.  Такие многократно повторяется операции, называют «массовыми». Без учета функции активации (если принять, что ), массовые операции при реализации ИНС сводятся к умножению с накоплением.

Таким образом, для реализации ИНС требуется организовать в массовых количествах выполнение операции «умножение с накоплением». При этом можно либо для каждого нейрона предусмотреть отдельный вычислитель, либо использовать  вычислителей, каждый из которых последовательно во времени эмулирует  нейронов. Очевидно, при практической реализации ИНС наиболее целесообразно использовать второй путь, как более гибкий, хотя при этом и возникает проблема обмена (и хранения) данных.

Стремление увеличить скорость работы ИНС определяет увеличение числа вычислителей – . При реализации ИНС на базе цифровой техники в качестве отдельного вычислителя можно рассматривать процессор. В итоге можно говорить о создании многопроцессорных средств аппаратной реализации нейровычислений. Если используемый процессор кроме эмуляции нейрона способен выполнять и другие вычисления, то ту же аппаратную базу можно использовать для реализации вычислений, не связанных с ИНС.

Следует также отметить, что массовые операции характерны только для ИНС. Такая типичная задача из области обработки изображений, как реализация апертурного фильтра [[3]], также сводится к  массовому выполнению умножения с накоплением.

Ускорительные платы

Исторически первые опыты по аппаратной реализации ИНС в НТЦ “Модуль” имели место в 1990-х годах. В частности, именно тогда для увеличения вычислительной мощности персональных компьютеров и создания приложений были разработаны многопроцессорные ускорительные платы [[4]].

Так на базе процессоров TMS320C40 производства фирмы Texas Instruments была разработана и тиражировалась в настоящее время уже снятая с производства  ускорительная плата М1. Рисунок 5 показывает ее внешний вид. Основные характеристики платы М1 содержит Таблица 1.

Несколько позже был создан встраиваемый VME-модуль МЦ9.01[[5]]. Его внешний вид отображает  Рисунок 6, а основные характеристики – Таблица 2.

Таблица 1. Основные характеристики ускорительной платы М1

Таблица 2. Основные характеристики встраиваемого VME-модуля МЦ9.01

Оба этих устройства содержат по несколько однотипных процессоров. Каждый из процессоров имеет локальную память, доступную только ему, и обладает доступом к общей памяти устройства. Последняя используется для обмена данными между процессорами.   Имеется, правда и другой путь обмена – через коммуникационные порты процессоров (Link), которые для этого должны быть соединены шлейфами, отсутствующими на приведенных рисунках.

Подобная организация межпроцессорного обмена информацией, служит хорошим обоснованием приведенному выше тезису о целесообразности уменьшать число процессоров, используемых для эмуляции отдельной ИНС, доводя в пределе это число до одного. Поскольку чрезмерный обмен данными между процессорами может существенно замедлить работу устройства. Наличие нескольких процессоров в устройстве позволяет ускорить его работу за счет одновременного эмулирования устройством нескольких ИНС, или параллельного решения других задач, стоящих перед конкретной прикладной системой обработки информации.

На основе ускорительной платы М1 и встраиваемого VME-модуля МЦ9.01 был создан ряд аппаратно-программных комплексов обработки изображений, использующих ИНС, некоторые из которых рассмотрены в [5].

Практическое использование ускорительной платы М1 и встраиваемого VME-модуля МЦ9.01 подтвердило эффективность реализованного в них подхода к созданию систем обработки потоков информации, в том числе с использованием ИНС. Под потоками информации в данном случае подразумевается непрерывный поток данных, который требуется обрабатывать в темпе поступления. Характерным примером такого потока является, например, поток изображений (кадров), формируемых телевизионной камерой. Именно на обработку таких потоков, телевизионных кадров, поступающих с темпом 25 Гц, и были рассчитаны упомянутые аппаратно-программные комплексы обработки изображений. Следует оговориться, однако, что удельный вес ИНС в этих приложениях был относительно невелик – составлял единицы процентов.

Аппаратная конфигурация данных устройств позволяет использовать наиболее подходящий для конкретного приложения путь:

·        организация конвейерной обработки информации – если приложение допускает увеличение задержки обработки, характерное для конвейера;

·        параллельная обработка частей информации – применительно к работе с изображениями заключается в разбиении отдельного кадра на части, которые передаются для одновременной обработки по одинаковому алгоритму на разные процессоры.

Результаты, полученные в ходе использования данных устройств, послужили основанием для продолжения разработки средств аппаратной поддержки вычислений. Приобретенный опыт показал, что при построении многопроцессорных систем обработки потоков информации следует больше внимание уделять организации эффективного информационного обмена между процессорами и синхронизации их работы.

[1] О.Ю. Аксенов. Обучаемый классификатор многозональных аэрофотоснимков. // VII Всероссийская научно-техническая конференция “Нейроинформатика-2005”. Сборник научных трудов Часть 1, стр.243-249, М., МИФИ. 2005

 [2] Ф. Уоссермен. Нейрокомпьютерная техника: Теория и практика (http://cs.mipt.ru/docs/comp/rus/develop/neuro/neurocomputing/index.html)

[3] Д.А. Денисов. Компьютерные методы анализа видеоинформации. /Изд. Красноярского университета, 1993 г., 188 с

[4] Нейросетевые методы обработки информации и средства их программно-аппаратной поддержки. Ю. Борисов, В. Кашкаров, С. Сорокин. // Открытые системы, #04/1997 (http://www.osp.ru/os/1997/04/38.htm)

[5] http://www.module.ru/ruproducts/dspmod/mc901.shtml