Информационная система "Конференции"

Вычислительные и информационные технологии в науке, технике и образовании

Усть-Каменогорск, Казахстан, 11-14 сентября 2003 года

Тезисы докладов

Зависимость между константой Липшица обучающей выборки и свойствами и скоростью обучения нейронной сети

Царегородцев В.Г.

Институт вычислительного моделирования СО РАН (Красноярск)

Для решения сложных неформализованных задач прогнозирования и классификации с учителем широко применяются искусственные нейронные сети, обучаемые на выборках данных. Перед обучением нейросети все независимые и зависимые признаки выборки нужно специальным образом предобработать. Разработано много приемов и правил предобработки признаков. Однако, корректная с точки зрения семантики признаков их предобработка еще не гарантирует дальнейшего быстрого обучения нейросети на полученной выборке. Рост объемов баз данных в технике, бизнесе, медицине, экологии требует поэтому разработки индикаторов интегральной "сложности" выборок, чтобы иметь возможность сравнивать результаты разных стратегий предобработки и целенаправленно оптимизировать схемы предобработки.

Предлагается использовать в качестве индикатора сложности выборки оценку константы Липшица (далее КЛ) выборки. Для ускорения обучения нейросети необходимо минимизировать КЛ выборки.

Описаны эксперименты на широко известной базы данных Statlog NASA Shuttle (классификация на 7 классов, 43500 примеров в обучающей и 14500 в тестовой выборках). Выполнено несколько шагов целенаправленного снижения КЛ выборки путем подбора схем предобработки отдельных независимых признаков; снижение КЛ составило 2 порядка. Указана скорость обучения нейросети для всех последовательных вариантах предобработки, изучены внутренние свойства обученных нейросетей (законы распределения весов синапсов). Все эти показатели демострируют динамику, качественно совпадающую с динамикой КЛ. Так, при снижении КЛ наблюдается ускорение обучения сети, число шагов обучения для начального и итогового шагов предобработки различается на порядок. Показано, что даже для линейных способов масштабирования признаков разные варианты (сдвиг в интервал, приведение к единичному разбросу и т.д.) могут давать сильно различающийся в итоге результат по КЛ и свойствам нейросети.

Результат [1] расширен описанием дополнительных экспериментов и сравнением с иными критериями оптимальности предобработки.

ЛИТЕРАТУРА

1. Царегородцев В.Г. Предобработка обучающей выборки, выборочная константа Липшица и свойства обученных нейронных сетей // Материалы Х Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2002. 185с. - с.146-150.

Примечание. Тезисы докладов публикуются в авторской редакции

Ваши комментарии
Обратная связь

[Головная страница]
[Конференции]