Нейрокомпьютинг, нейросети и нейрокомпьютеры

Королев Л. Н.

Часть 1. История развития нейрокомпьютерных вычислений

Определения и терминология

Нейрокомпьютинг или обработка данных с помощью нейроподобных сетей, реализованных на компьютерах либо в виде программ, либо аппаратным образом, в настоящее время все более широко используется для решения многих плохо формализуемых задач.

Нейрокомпьютинг (нейровычисления) относятся к сравнительно новому направлению информационных технологий, которое получило название Machine Leaning – ML, т. е. обучение машин.

 Это важное научное направление информатики обобщает результаты и идеи, связанные с нейросетевыми вычислениями, эволюционными и генетическими алгоритмами, нечеткими множествами, итерационными самонастраивающимися алгоритмами. Появление обобщающего термина Machine Leaning связывают с именем  К. Самуэля, опубликовавшего в 1963 г. в сборнике Computers and Thought  (Mc Craw-Hill, N. Y.) статью под названием «Some studies in machine leaning using the game of checkers» («Некоторые проблемы обучения машины на примере игры в шахматы»).

Первые работы

Первые работы по формальному анализу математических моделей нейронных сетей относятся к 1943 г., имеется в виду работа Мак-Каллока и Вальтера Питтса “Логическое исчисление идей, относящихся к нервной активности“ (Mc Culloch V. S., Pitts W. H. A logical calculus of ideas immanent in nervous activity. Bull. Math. Biophysics, 1943, v. 2, p548–558). На русский язык эта работа была переведена в 1956 г.

Авторы предложили простейшую модель работы нейрона, структура этой модели сохранилась и по сей день. Ее усовершенствование шло за счет усложнения функций активации, способов объединения нейронов в нейронные сети и динамики их работы, развития методов обучения нейросетей.

Фундаментальный анализ математической модели нейронной сети был проведен известнейшим специалистом в области математической логики С. К. Клини в работе “Представление событий в нервных сетях и конечных автоматах” (Труды корпорации RAND, 1951 г.).

Следующим важным шагом в развитии идей нейрокомпьютинга следует считать модель персептрона Розенблатта, которая была предложена в 1962 г. для решения некоторых задач распознавания образов (Розенблатт Ф. Принципы нейродинамики. М., 1965).

Модель персептрона Розенблатта была подвергнута всестороннему математическому анализу в работе М Минского. и С.Пейперта («Персептроны» М., 1971), которые доказали невозможность использования персептрона для решения некоторых простых задач распознавания геометрических объектов, в частности невозможность распознать геометрически подобные образы.

В ответ на это были предложены усовершенствованные варианты нейросетей, которые снимали ряд ограничений персептрона и расширяли круг решаемых задач. Но одновременно было установлено, что мощностей существовавшей в тот период вычислительной техники явно недостаточно для решения многих реальных задач распознавания и классификации. Электроника того времени не позволяла также создать приемлемый по быстродействию и стоимости нейрокомпьютер.

Попытки моделирования нейросетей электрическими схемами были предприняты в начале 50-х годов. После этого остался только один шаг в направлении использования электронных моделей в качестве приборов для решения математических задач, не имевших прямого отношения к анализу работы мозга, т. е. в качестве счетно-решающих устройств. Этому шагу предшествовали многочисленные теоретические исследования принципиальных возможностей нейросетей (НС) по обработке данных. Исследовались также классы задач, которые могли бы быть решены с использованием нейросетевого подхода.

Сложность и необычность этих исследований заключалась в том, что нейросети по своей сути являются устройствами сугубо параллельного действия, в которых все узлы (нейроны) работают одновременно и одновременно обмениваются информацией между собой. Строго формализовать процессы, происходящие в нейронных сетях, оказалось не столь простым делом. При этом цель адекватного отражения процессов, которые происходят в биологической нейронной сети головного мозга, в исследованиях по созданию вычислительных устройств нейросетевого типа была отодвинута на второй план или полностью игнорировалась. Главной целью становится максимальное использование параллелизма в обработке данных в нейроподобных электронных системах. Во имя достижения этой цели изобретаются модели сетей различной топологии, с различными способами формирования порога возбудимости, различными способами синхронизации.

Замечательным свойством нейроподобных вычислительных систем является их способность к обучению и самообучению.

Заметим, что в обычных универсальных вычислительных машинах в качестве параметров для управления аппаратурой компьютера, решающего те или иные задачи, выступает код программы, реализующий алгоритм. Алгоритм задается человеком, специалистом в конкретной области знаний. Процесс настройки компьютера сводится к составлению программы, ее отладке, к подгонке параметров программы с целью достижения правильной ее работы. В отличие от процесса программирования нейросеть “обучают”. В процессе обучения происходит автоматическая настройка параметров нейросети, ее весовых коэффициентов. При этом не задается перечень тех арифметических и логических операций, которые будут выполняться в сети в процессе решения задачи, как это делается при обычном программировании. Обучение, как правило, производится с использованием известных результатов решения аналогичных задач.

Реальные задачи требовали для своего решения построения нейросетей, содержащих тысячи узлов – нейронов и многие тысячи связей между ними. Процесс обучения требовал настройки нескольких тысяч весовых коэффициентов. Средствами существовавшей в то время вычислительной техники этого сделать практически было невозможно. Интерес к использованию нейросетевых вычислений упал. Последовало сокращение инвестиций в это направление исследований.

Вероятно, именно эти обстоятельства затормозили развитие идей нейровычислений до той поры, пока не появилась вычислительная техника 80-х годов, основанная на использовании больших интегральных схем и микропроцессоров. 

К этому следует добавить, что в 70–80 годы начался бурный расцвет экспертных систем, также способных решать некоторые плохо формализуемые задачи. На экспертные системы возлагались очень большие надежды, что также повлияло на ослабление интереса к работам в области ML.

Эволюционные и генетические вычисления

Эволюционные и генетические вычисления весьма близки по постановке и методам решения к нейросетевым вычислениям. Процесс решения с их помощью также основан на итерационном подборе некоторых параметров, доставляющих экстремум функции качества, которая, как правило, не обладает никакими хорошими свойствами типа непрерывности и гладкости.

В связи с исследованиями в области генетических алгоритмов следует упомянуть важную работу и теорему Холланда (Holland J. Adaptation in natural and artificial systems. MIT Press. Cambridge, VA, 1992), доказавшему сходимость итерационного процесса генетического алгоритма при некоторых предположениях.

В рамках общего направления обучения машин появилась новая ветвь, которая получила название «генетическое программирование» (GP). Это направление относят к новому витку автоматизации программирования, целью которого является обучение машины программировать саму себя на основе использования принципов естественного отбора. Направление GP еще очень молодое, хотя попытки заставить машину самопрограммироваться делались давно. В настоящее время речь не идет о том, чтобы заставить машину методом обучения генерировать машинный код, однако от этого направления можно ожидать результатов в области оптимизации программного кода. Уже получены хорошие решения в распределении процессов и данных в мультипроцессорных системах, которые можно отнести к генетическому программированию.

Что касается понятия «генетическое программирования», то его появление можно отнести к концу 50-х годов. Наверное, первой попыткой обучения компьютера программированию можно считать эксперимент Фридберга по автоматизации генерации программного кода модельной вычислительной машины. Идея состояла в автоматической генерации случайного множества программ и целенаправленного выбора из такого множества хороших программ (Friedberg R. At leaning machine. part 1. IBM J. Research and Development, 2:2 – 13 (что за цифры?), 1958).

Как выяснилось в последнее время, генетическое программирование используется для оптимального выбора структуры нейросети, конструируемой для решения конкретного класса задач.

Важное значение имели публикация Коца  “Genetic Programming. On the Programming of Computers by Means of Nature Selection”, 1992.

К плохо формализуемым практически важным задачам относят задачи распознавания образов, классификации, анализа многомерных сигналов, анализа поведения  временных рядов, релевантного поиска, прогнозирования, многие задачи экономики и т. д.

Общим в разнообразных методах и приемах решения такого рода задач является наличие итерационного процесса поиска параметров какой-либо функции, которая затем используется для решения конкретных задач или доставляет искомое решение. В качестве исходных данных для организации итерационных процессов, как правило, используют ограниченное число комплектов заранее известных данных и знание результатов, соответствующих этим данным. В частности большинство задач прогнозирования может быть сведено к этой общей схеме.

Комплекты заранее известных данных во многих задачах называют обучающей последовательностью. Итерационный процесс получения искомой функции называют процессом обучения. Известные результаты решения задачи, связанные с этими данными, называют в разных задачах по-разному: функцией качества, оценкой значимости, известными результатами прогноза по предыстории. В генетических алгоритмах генерируемые популяции также можно назвать обучающими последовательностями.

Как бы то ни было, общая схема метода решения задач состоит в следующем: создается алгоритм, который на основе сопоставления множества элементов обучающей последовательности и элементов множества известных результатов формирует в свою очередь алгоритм, позволяющий решать задачу для любых исходных данных, не принадлежащих обучающей последовательности.

Первый алгоритм  вполне может быть назван алгоритмом обучения. Алгоритм, полученный в результате обучения, может быть назван результатом обучения машины (компьютера), который и позволяет ей решать определенный круг задач.

Искомую решающую функцию отыскивают таким образом, чтобы она давала ожидаемые (или приемлемые) заранее известные из опыта или предыстории значения при подстановке известных элементов обучающей последовательности. Очевидно, что не составляет труда построить функцию, удовлетворяющую только этому требованию, – ее можно задать таблицей соответствий известных результатов известным исходным данным. Но когда нас интересует адекватный ответ при подстановке ранее неизвестных данных, такой тривиальный способ исключается. Нам следует построить такую функцию, которая при подстановке в нее неизвестных данных давала бы в некотором смысле результаты, близкие к уже известным.

Понятие «близости» зависит от семантики предметной области, и отыскание методов формализации понятия близости пока что является в большей степени искусством, чем наукой. Но и в этом направлении ведутся интенсивные исследования, в частности Ю. И. Журавлевым и его учениками (Журавлев Ю. И.. Об алгебраическом подходе к решению задач распознавания или классификации. Проблемы кибернетики, 1978, т. 33).  Надо дать страницы!

В отличие от обычного способа использования вычислительных машин путем создания программы, реализующей алгоритм, разработанный специалистом вне машины, метод МL предполагает, что машина сама создаст алгоритм, если ее обучить этому.

Общим почти для всех методов обучения компьютеров являются объекты, с которыми имеют дело вышеперечисленные задачи обработки данных. Эти данные представляют собой закодированный перечень характеристик реальных сущностей, и эти характеристики, как правило, не являются по своему изначальному смыслу числами, хотя в ходе кодирования им присваиваются числовые значения. Привычные понятия евклидовой метрики и нормы здесь часто не работают, так как не могут адекватно отражать реальные взаимоотношения сущностей.

В то же время компьютер ничего кроме логических и арифметических операций делать не в состоянии. Умение разрабатывать алгоритмы обучения компьютера, которые заставят его решать поставленные задачи в рамках физически присущих ему возможностей, также пока что является в большей степени искусством, нежели результатом стройной теории обучения и вычислений, охватывающих этот класс задач.

Во многих задачах в качестве моделей реальных объектов выступают весьма сложные структуры данных типа графов либо множеств с различными топологическими свойствами. Те и другие не являются линейными структурами, и к их исследованию трудно применить развитый аппарат классической математики. Функции, к поиску экстремума которых часто сводятся такие задачи, в особенности при использовании генетических алгоритмов, как правило, не обладают непрерывностью и гладкостью. Все это осложняет поиск надлежащих алгоритмов решения подобных задач и доказательств достоверности полученных решений.

Не всегда удается математически строго доказать сходимость построенного итерационного процесса обучения. В этом заключается один из недостатков применения нейросетей к решению конкретных задач, и данный факт составляет основу критики нейросетевого подхода: нет доказательств того, что полученное решение верно или оптимально.

Часто критерием того, что компьютер обучен правильно и может решать рассматриваемый круг задач, выступают результаты вычислительного эксперимента. Но не всегда доказывается чистота поставленных экспериментов и полнота тестирования.

Работа нейросетей и генетических алгоритмов являет пример массовых параллельных процессов. Новое поколение вычислительных средств обеспечило реальные возможности использования этого естественного параллелизма. Все это стимулировало возвращение интереса к нейросетевым вычислениям и обучающим алгоритмам.

Теория и практика нейровычислений  - современное положение и перспективы

Появились многочисленные теоретические исследования принципиальных возможностей нейросетей (НС) по обработке данных. Исследовались и классы задач, которые могли бы быть решены с использованием нейросетевого подхода.

В современном понимании нейросеть нельзя уже считать аналогом нейронной сети головного мозга человека. Вычисления, производимые узлом искусственной нейросети, могут не иметь ничего общего с процессами, происходящими в биологическом нейроне. Функции искусственного нейрона, вообще говоря, могут быть выбраны из любых соображений, согласующихся с законами предметной области. Это же касается выбора функций «мутации» и «скрещивания» в генетических алгоритмах, они могут не иметь ничего общего с тем, что происходит в живой природе.

Соответственно, искусственные нейронные сети сейчас реализуются в основном на универсальных мультипроцессорных системах, позволяющих задавать самые различные функции работы узла нейросети, определенные по воле исследователя. Что касается создания специализированных нейрокомпьютеров, то такие работы проводятся, существуют реализации нейросетевых автоматов, используемых как аппаратные модули в сложных технических системах, в основном военного назначения.

С точки зрения создания некого аппаратно реализованного устройства способность к его обучению означает, что в таком устройстве должны быть некоторые параметры, тем или иным способом изменяющиеся в зависимости от предъявленных примеров так, чтобы результаты, появляющиеся на выходе, соответствовали заранее известным результатам. В нейроподобных вычислительных системах в качестве параметров настройки выступает не код программы, а некоторые весовые коэффициенты, приписанные дугам нейросети. Программой для нейрокомпьютера, определяющей его поведение, является набор (вектор) числовых значений весов дуг, и этот набор может динамически меняться в ходе обучения и работы нейрокомпьютера.

Значения этих коэффициентов можно выбирать в довольно широких пределах. Этот выбор делается либо их заданием извне, либо по специальным алгоритмам, реализуемым на универсальной машине, связанной с нейрокомпьютером.

Технически нейрокомпьютер представляет собой множество параллельно работающих вычислительных узлов, связанных между собой линиями передачи данных. Вычислительные возможности каждого узла нейрокомпьютера, как правило, одинаковы. Это одно из важных преимуществ подобного рода вычислительных систем.

В отличие от обычных вычислительных машин универсальных нейрокомпьютеров, способных решать любые задачи, не бывает, каждый аппаратно реализованный нейрокомпьютер рассчитан на решение какого-то класса задач, который определяет число узлов, реализованные в них функции и топологию сети.

Появление массивно-параллельных вычислительных систем терафлопной производительности открыло реальные возможности перехода от использования нейросетевых вычислений для решения эффектных модельных задач искусственного интеллекта к задачам более серьезным и значимым с точки зрения науки, развития высоких технологий и практических приложений в области прогнозирования событий в реальных ситуациях с учетом многочисленных нюансов.

В настоящее время ведутся интенсивные теоретические исследования в области нейровычислений, генетических алгоритмов и нечетких множеств, на этом пути получены многообещающие результаты. Изобретаются сети различной топологии, с различными способами формирования порога возбудимости, различными способами синхронизации

В выпущенной в 2000 г. монографии “Нейронные сети для обработки информации» С. Осовского содержится обзор наиболее известных типов нейросетей и методов их обучения, ранее известных и созданных в последнее время. Если раньше нейросетевая тематика исчерпывалась в основном рассмотрением различных модификаций персептрона и метода обучения обратным распространением ошибки, то за последние два десятилетия появились новые типы сетей и методов их обучения. Автором монографии рассматривается свыше семи классов нейронных сетей, включая многослойные персептроны, радиальные, рекуррентные и ассоциативные сети, самоорганизующиеся и нечеткие нейронные сети. Даны сведения более чем о двадцати различных методах обучения нейросетей. Это свидетельствует о бурном развитии нейросетевой тематики и расширении сфер применения методов обработки информации на основе обучающих алгоритмов в самых различных прикладных областях.

Показателем возросшего интереса к нейросетевой тематике и эволюционным вычислениям может служить также появление в составе профессионального программного обеспечения персональных компьютеров и серверов средств поддержки обработки данных этими новыми методами.

Так, в состав широко используемой системы Mathlab, обладающей богатым арсеналом средств классической математики для решения традиционных задач линейной алгебры, дифференциальных уравнений, интегрирования, частотного анализа и т. п., дополнительно введены средства, позволяющие конструировать нейросети различного типа, с возможностью выбора методов обучения. Эти средства позволяют формировать обучающие и тестовые последовательности различной структуры, подключать базы данных, содержащие информацию, подлежащую анализу нейросетевыми методами.

Тем самым нейросетевые вычисления введены в ранг стандартного математического обеспечения вычислительной техники массового применения.

Широко используются свободно распространяемые системы типа SNNS, которые представляют собой нейросетевой конструктор, позволяющий задавать топологию конструируемой нейросети, обучать ее различными способами и выполнять необходимые вычисления с помощью созданной и обученной нейросети.

Следует отметить, что эти нейросетевые пакеты программ снабжены развитыми средствами визуализации и диалогового взаимодействия.

Одна из важных задач современного программирования –  повышение эффективности решения задач, основанных на использовании нейросетевых алгоритмов. Наиболее трудоемкой по затратам вычислительных ресурсов и, следовательно, времени можно назвать задачу обучения. По существу, единственным методом радикального ускорения этого процесса является его распараллеливание, и на этом направлении в настоящее время сосредоточены усилия системных программистов.