Информационная система "Конференции"

Вычислительные и информационные технологии в науке, технике и образовании

Усть-Каменогорск, Казахстан, 11-14 сентября 2003 года

Тезисы докладов

Ввод допуска на точность решения в робастную целевую функцию на основе метрики Минковского для обучения нейросети-предиктора

Царегородцев В.Г.

Институт вычислительного моделирования СО РАН (Красноярск)

Для решения сложных неформализованных задач прогнозирования широко применяются искусственные нейронные сети, обучаемые на выборках данных. Правильность решения примера выборки оценивается целевой функцией, штрафующей невязку нейромодели и требуемого значения. В классической статистике разработано несколько подходов по обеспечению робастности путем отказа от традиционной МНК-оценки, идеи этих подходов постепенно проникают и в нейроинформатику.

Для возможности задания минимально необходимой точности приближения данных, для случая значительной инструментальной грубости измерения зависимых переменных, для возможности автоматической остановки обучения при достижении требуемой точности желательно иметь возможность вводить допуск (люфт) на точность решения в целевую функцию, как робастную, так и МНК-вида.

Предложено два варианта введения допуска к точности решения задачи в робастную целевую функцию [1], построенную на основе обобщенной степенной метрики: относительный и абсолютный варианты. Для задачи регрессии, авторегрессии, регрессии-авторегрессии больше подходит абсолютный вариант, для предикции же нескольких значений одновременно (векторная предикция), для задач автоассоциации и clearning-технологий обучения более адекватен относительный вариант.

Предложенные функции удовлетворяют теоретическим требованиям (например, [2]) на отсутствие скачков самой функции и ее производной для возможности эффективного градиентного обучения нейросети. Иные же предложенные в нейроинформатике целевые функции с люфтом (например, [3]) как раз имеют разрывности и функции, и производной.

ЛИТЕРАТУРА
1. Hanson S.J., Burr D.J. Minkowski-r back-propagation: learning in connectionist models with non-euclidean error signals / Advances in Neural Information Processing Systems'1987. American Institute of Physics, 1988. Vol.0. - pp.348-357.
2. Hamey L.G.C. Result on weight configuration that are not local minima in feed-forward neural networks / Proc. VII Australian Conf. Artificial Neural Networks, 1996. - pp.173-178.
3. Bakker P. Don't care margins help back-propagation learn exceptions / Proc. V Australian Joint Conf. Art. Intell., World Scientific, 1992. - pp.139-144.

Примечание. Тезисы докладов публикуются в авторской редакции

Ваши комментарии
Обратная связь

[Головная страница]
[Конференции]