Рекуррентные алгоритмы конструктивного обучения алгебраических $ \Sigma \Pi $-нейронов

Шибзухов З.М.

Аннотация:

В данной работе рассматривается класс искусственных алгебраических $ \Sigma \Pi $-нейронов со слоем настраиваемых функциоанльных элементов на входе и без, с различными типами входных и выходных сигналов. Приводится общая схема рекуррентного обучения $ \Sigma \Pi $-нейронов по упорядоченным последовательностям векторов входов с одновременной минимизацией рангов произведений в полилинейной форме, что позволяет существенно понизить сложность их аппаратной реализации, а также сложность вычисления значений при последовательной или последовательно-параллельной реализации.

В данной работе рассматривается класс искусственных алгебраических $ \Sigma \Pi $-нейронов с различными типами входных и выходных сигналов. Этот тип искусственных нейронов является обобщением классических нейронов, в котором сохраняется линейность функции суммарного сигнала от входных сигналов по каждому отдельно взятому входу, но нарушается линейность по всей совокупности входов. Функция преобразования алгебраического $ \Sigma \Pi $-нейрона представляется при помощи композиции полилинейной формы и скалярной функции:

$\displaystyle \mathsf{spn}(\mathbf{x})$ $\displaystyle =$ $\displaystyle f\big (\mathsf{sp}(\mathbf{x})\big )$  
$\displaystyle \mathsf{sp}(\mathbf{x})$ $\displaystyle =$ $\displaystyle \theta +\sum ^{\mathrm{R}}_{k=1}w_{k}\prod _{t\in \mathbf{i}_{k}}x_{t},$  

где $ \mathbf{x}=(x_{1},\ldots ,x_{n})\in \mathbb{K}^{n} $ -- вектор входов, $ \theta \in \mathbb{K}$, $ w_{k}\in \mathbb{K}$ -- весовые коэффициенты, $ \mathbf{i}_{k}\subseteq \{1,\ldots ,n\} $ -- мультииндексы, $ \mathbb{K}$ -- алегбраическое кольцо (коммутативное, ассоциативное, с единицей).

Такое усложнение алгебраической модели искусственного нейрона позволяет строить рекуррентные алгоритмы обучения по упорядоченым последовательностям обучающих последовательностей входов. Рассматривается пара последовательностей входов $ \mathbf{X}=\{\mathbf{x}_{1},\ldots ,\mathbf{x}_{\mathrm{N}}\} $ и последовательность $ \mathbf{Y}=\{y_{1},\ldots ,y_{\mathrm{N}}\} $ -- ожидаемых значений на выходе $ \Sigma \Pi $-нейрона. Предполагается, что $ \mathbf{X} $ такова, что после специального упорядочивания она обладает следующим свойством: для всех пар $ j<k $ найдЈтся индекс $ t $ такой, что $ x_{jt}=0 $, а $ x_{kt}\neq 0 $. Такое, например, можно достичь для последовательностей логических векторов и последовательностей разреженных векторов. содержащих относительно большое количество нулевых компонентов. При таком предположении индуктивно строится последовательность $ \mathsf{sp}_{1},\ldots ,\mathsf{sp}_{\mathrm{N}} $ такая, что для каждого $ k $ для всех $ j=\overline{1,k} $ имеет место равенство $ y_{j}=f(\mathsf{sp}_{k}(\mathbf{x}_{j})) $.

Рассматривается также схема, состоящая из композиции слоя настраиваемых функциональных $ \varphi $-элементов и $ \Sigma \Pi $-нейрона:

$\displaystyle y$ $\displaystyle =$ $\displaystyle \mathsf{spn}(\mathbf{u}),$  
$\displaystyle u_{j}$ $\displaystyle =$ $\displaystyle \varphi (x_{\iota (j)},a_{j}),\qquad j=\overline{1,m},$  

где $ \mathbf{u}=(u_{1},\ldots ,u_{m}) $, $ \mathbf{u}\in \mathbb{K}^{m} $, $ \varphi :\bs {\mathcal{R}}\times \bs {\mathcal{R}}\rightarrow \mathbb{K}$ -- скалярная функция от двух переменных, $ \{0,1\}\subseteq \bs {\mathcal{R}}\subseteq \mathbb{R}$, $ 1\leq \iota (j)\leq n $ -- индекс компоненты входного вектора, поступающего на вход $ j $-ого $ \varphi $-элемента, $ a_{j} $ -- настраиваемый параметр $ j $-ого $ \varphi $-элемента. Такая композиция задаЈт преобразование следуюего вида:
$\displaystyle \mathsf{spfn}(\mathbf{x})$ $\displaystyle =$ $\displaystyle f\big (\mathsf{spf}(\mathbf{x})\big ),$  
$\displaystyle \mathsf{spf}(\mathbf{x})$ $\displaystyle =$ $\displaystyle w_{0}+\sum ^{\mathrm{R}}_{k=1}w_{k}\prod _{{i\in \mathbf{i}_{k}\atop a\in \mathbf{a}_{k}}}\varphi (x_{i},a_{ki}),$  

где $ \mathbf{i}_{k}\subseteq \{1,\ldots ,n\} $, $ \mathbf{a}_{k}\subseteq \{a_{1},\ldots ,a_{m}\} $, $ \vert\mathbf{i}_{k}\vert=\vert\mathbf{a}_{k}\vert $.

В предположении, что $ \mathbf{X} $ такова, что после специального упорядочивания она обладает следующим свойством: для всех пар $ j<k $ найдЈтся индекс $ t $ такой, что $ x_{jt}<x_{kt} $. Показывается, например, что для любого конечного подмножества $ \mathbb{R}$ такого можно достичь после специального упорядочивания. При таком предположении индуктивно строится последовательность $ \mathsf{spf}_{1},\ldots ,\mathsf{sp}\mathsf{f}_{\mathrm{N}} $ такая, что для каждого $ k $ для всех $ j=\overline{1,k} $ имеет место равенство $ y_{j}=f(\mathsf{spf}_{k}(\mathbf{x}_{j})) $.

Обе схемы рекуррентного обучения $ \Sigma \Pi $-нейронов с слоем функциональных элементов на входе и без по упорядоченным последовательностям векторов входов включают в себя процедуру минимизации рангов произведений в полилинейной форме, что позволяет существенно понизить сложность их аппаратной реализации, а также сложность вычисления значений при последовательной или последовательно-параллельной реализации.

Ключевые слова: нейронные сети, сигма-пи нейроны, конструктивное обучение, рекуррентный алгоритм.

Recurrent Algorithms for Constructive Learning of Algebraic $ \Sigma \Pi $-neurons

Shibzoukhov Z.M.

A class of artificial algebraic $ \Sigma \Pi $-neurons with input layer of adaptive functional units and without and with different types of inputs and output is considered. A general scheme for recurrent learning of $ \Sigma \Pi $-neurons with minimizing of product's rank in polylinear forms is proposed. The learning performs on the bases of ordered sequences of input vectors. The minimization technique allow in many cases to decrease essentially the complexity of hardware implementation and the complexity of evaluation $ \Sigma \Pi $-neurons in sequential and sequential-parallel implementation.

Keywords: neural networks, sigma-pi neurons, constructive learning, recurrent algorithm.

Ваши комментарии
[SBRAS]
[Головная страница]
[Конференции]
[СО РАН]

© 2001, Сибирское отделение Российской академии наук, Новосибирск
© 2001, Объединенный институт информатики СО РАН, Новосибирск
© 2001, Институт вычислительных технологий СО РАН, Новосибирск
© 2001, Институт систем информатики СО РАН, Новосибирск
© 2001, Институт математики СО РАН, Новосибирск
© 2001, Институт цитологии и генетики СО РАН, Новосибирск
© 2001, Институт вычислительной математики и математической геофизики СО РАН, Новосибирск
© 2001, Новосибирский государственный университет
Дата последней модификации Monday, 13-Aug-2001 20:01:03 NOVST