Искусство в IT-технологиях...

Нестерук Татьяна Никифоровна. Разработка модели адаптивного корпоративного сайта и инструментария для повышения эффективности маркетинговых решений, 2006

Алгоритм обратного распространения ошибки

Подстройка весов формальных нейронов выходного слоя НС. Пели входной сигнал /-го входа формального нейрона обозначим лг„ формируемый выходной сигнал - q, а целевой выходной сигнал -у\ то при использовании дельта-правила приведенная к входу ошибка составит величину
b = q(l -q)(y-q).
Затем 5 умножается на величину х, и на коэффициент скорости обучения г), а результат прибавляется к значению веса связи.
Л Щ = П xt q (1 - q) (у - q) = ц х> 8 .
"м.к(л+1) = w^n) + Т. е. вычисляется производная функции активации - в случае сигмоидальной функции выполняются операции вычитания и умножения q(I - q), определяется ошибка выхода (у - q), и полученные значения умножаются на скорость обучения


Данная последовательность операций производится один раз в пересчете на один ФН, т. е. 2 вычитания и 3 умножения, требуя затрат времени 2л+3ш. Для коррекции каждого веса связи дополнительно выполняется одна операция умножения и одно сложение n>j(/i+l) = w,(n) + х, А.
Итого для -входового ФН в выходном А>м слое НС суммарные затраты времени на коррекцию всех весов связей составят
/ = 2а+3м + пы (а+т) = (»ы +2) а + (пк_х +3) т, где а - время выполнения операции сложения/вычитания; т - время выполнения операции умножения.
Подстройка весов ФН скрытого слоя. Веса связей выхода ФН умножается на величину 8 соответствующего ФН в выходном слое. Величина 8 для ФН
7. Действия с п. 4 повторяют, пока не сменилось заданное число популяций или не достигнута заданная точность обучения нейро-нечеткого классификатора.
Если в качестве фрагмента гена выбрать локальную связь в рамках нечеткой связи, то можно изменить рассмотренный алгоритм обучения НС с нечеткими связями, сделав акцепт на эволюционном характере коммутации локальных связей в пределах нечетких связей.
Преследуется прежняя целевая
функция - минимизация ошибки Р}ш выходного вектора нейро-нечеткого
классификатора. Основной эволюционный оператор в пределах нечеткой связи мутация. Причем мутация изменяет номера случайно выбранных локальных связей в пределах нечеткой связи.
При заданной степени детализации семантики хромосома образуется из постоянного набора генов, которые представляют собой нечеткие множества значений функции принадлежности.
Если в ходе выполнения алгоритма обучения нечеткой нейронной сети изменяется степень детализации семантики d, то число элементов в нечетком
множестве изменяется как 2а.
То есть увеличение параметра d позволяет с большей точностью выполнить условие целевой функции - минимизацию рассогласования в выходном пространстве решений.
предыдущий следующий
= К содержанию =


Алгоритм обратного распространения ошибки - релевантная информация:

  1. НС обучаемые по образцам
    алгоритм обратного просчета: веса ПС корректируются так, чтобы минимизировать функцию ошибки Д показывающую степень близости Qu к Yu. Повторить шаги с 2 по 5 для каждого вектора обучающего множества до тех пор, пока функция ошибки D на всем множестве обучающих пар {(Хи. Уи)). и - 1,2Мне достигнет приемлемого уровня. Для ускорения процесса обучения имеется множество модификаций алгоритма обратного
  2. Обучение НС с использованием генетического алгоритма
    алгоритм оптимизации весов связей [85] включает обязательные этапы: выделения хромосом в структуре НС, задания целевой функции для осуществления отбора отдельных вариантов НС в процессе их эволюции, Наибольшее распространение для адаптации многослойных нейронных сетей с прямыми связями получил метод обучения с учителем, а самой популярной реализацией данного метода является алгоритм обратного
  3. Обучение НС по алгоритму обратного распространения ошибки
    алгоритмов локальной оптимизации в сочетании с процедурой преодоления локальных минимумов и увеличением числа формальных нейронов [5]. Алгоритм обратного распространения ошибки относят к алгоритмам локальной оптимизации. В алгоритме обратного распространения ошибки (рис. 1.2) выделяют две фазы. В течение первой фазы по заданному вектору входных сигналов рассчитывают текущее значение выходного
  4. НС встречного распространения
    алгоритму обратного распространения ошибки. Однако вес межнейронной связи корректируется лишь в том случае, если он соединен с формальным нейроном Кохонена, имеющим активный выход. НС встречного распространения характеризуются высокой скоростью обучения и вычисления относительно просты, что важно для экономических приложений, работающих в режиме реального
  5. Нейро-экспертные системы
    алгоритмы обучения, разработанные для нейронных сетей, включая алгоритм обратного распространения ошибки. Однако более оперативное обучение нейронных сетей может производиться с использованием эволюционных методов адаптации их информационных полей [3]. Генетические алгоритмы эффективны для оптимизации весов и выбора оптимальной топологии нейронной сети в соответствии с заданной целевой функцией
  6. 2.4.3. Генетический алгоритм адаптации нейро-нечетких сетей в составе корпоративного сайта
    алгоритмы часто применяются при решении практических задач [62, 92-94]. В задачах интеллектуального анализа данных первые два подхода используют для извлечения знаний из информации. В адаптивном сайте нейро-нечеткие классификаторы необходимы для извлечения знаний из входных векторов признаков посещения сайта и интересов (в процессе обучения НС), а генетические алгоритмы - для оптимизации
  7. 2.4.4. Аналитические исследования алгоритмов адаптации НС с нечеткими связями
    алгоритмы обучения нейронных сетей, использующие систему нечетких связей, а именно: генетический алгоритм и алгоритм минимизации расхождений в координатах расчетного и целевого выходных векторов. Первый использует эволюционную методику подбора последовательности размещения взвешенных локальных связей в пределах соответствующих нечетких связей в процессе обучения. Второй характеризуется
  8. Выводы по главе 2
    алгоритмы обучения нейро-нечетких сетей, базирующиеся на представлении информационного ноля нечеткой НС в виде совокупности нечетких связей. Нечеткая связь рассматривается как множество локальных связей между выходом формального нейрона слоя НС и одноименными входами формальных нейронов следующего слоя НС. Процесс адаптации информационного поля НС связан с перераспределением локальных связей (в
  9. 2.4.1. Специфика адаптации классификаторов с нечеткими связями
    обратного распространения ошибки в зависимости от значений координат вектора ошибки текущего слоя иейро-иечеткой сети при конкретной форме семантики и заданном количестве межнейронных связен соответствующего слоя сети производится внутрислойная коммутация локальных взвешенных связей, как в текущем, так и предыдущих слоях
  10. 3.1 Моделирование бизнес процессов торговых операций
    обратную связь). Помимо таких очевидных преимуществ обслуживания покупателей в режиме реального времени, как скорость, рентабельность, управление сведениями о покупателях, уменьшение числа обслуживающего персонала, этот процесс несет в себе и ряд определенных трудностей, связанных с технологиями и управлением, которые для многих торговых предприятий остаются непреодолимыми. Таким образом, можно