Radial Based Functions
Вступление
В данной статье приводится краткий обзор Функций Радиального Вида (RBF), математического аппарата, свойства которого делают его привлекательным для решения некоторых задач компьютерной графики и ряда других областей. В число задач, решаемых с помощью RBF, входят функциональная аппроксимация при моделировании временных серий и при распознавании образов; существуют RBF-реализации Байесовского критерия; RBF используются для моделирования непрерывных отображений.
Интерполяция функций
Использование RBF для интерполяции проиллюстрируем на задаче интерполирования в самом простом варианте: интерполяция функции f: R1 → R1. Исходные данные представляют из себя набор (сетку) значений аргумента функции и значения функции в узлах сетки:
В данной статье приводится краткий обзор Функций Радиального Вида (RBF), математического аппарата, свойства которого делают его привлекательным для решения некоторых задач компьютерной графики и ряда других областей. В число задач, решаемых с помощью RBF, входят функциональная аппроксимация при моделировании временных серий и при распознавании образов; существуют RBF-реализации Байесовского критерия; RBF используются для моделирования непрерывных отображений.
Интерполяция функций
Использование RBF для интерполяции проиллюстрируем на задаче интерполирования в самом простом варианте: интерполяция функции f: R1 → R1. Исходные данные представляют из себя набор (сетку) значений аргумента функции и значения функции в узлах сетки:
Необходимо получить интерполирующую функцию, которая в узлах сетки принимает указанные значения и обладает рядом свойств, зависящих от постановки задачи.
Задача интерполирования широко известна в математике, существует ряд глубоко изученных методов для ее решения, обладающих различными свойствами: интерполирование полиномом, интерполирование кубическими сплайнами, спектральная интерполяция и др. Известны проблемы, присущие указанным методам, которые в той или иной мере решает метод RBF.
Существенный недостаток интерполяции полиномом – рост степени полинома с ростом числа точек в сетке. Даже для сравнительно небольшого числа точек мы получаем полином степени, поведение которого очень нестабильно, т.е. имеются значительные скачки приближающей функции, которые могут сильно расходиться с поведением моделируемой функции:
Интерполирование сплайнами – метод, дающий более стабильный
результат, однако имеющий свои недостатки. Во-первых это достаточно громоздкий
вид результирующей функции. Во-вторых, метод испытывает известные трудности (в
случае интерполяции функции RR этот недостаток не проявляется) в случае
иррегулярных входных данных. Уже при интерполяции R2R
необходимо разбиение исходных данных на куски регулярной формы (tri- или
quad-patches). В случае, когда исходная сетка обладает известной степенью
нерегулярности, усложняется, подчас значительно, задача выбора отдельных кусков.
В-третьих, объем сплайн-коэффициентов подчас превышает объем исходных данных, и
это приводит к значительных вычислительным нагрузкам.
Рассмотрим решение задачи интерполирования (в обобщенном случае) при помощи RBF.
Постановка задачи в этом случае такова: восстановить векторное поле, заданное на конечном множестве. Формально:
Рассмотрим решение задачи интерполирования (в обобщенном случае) при помощи RBF.
Постановка задачи в этом случае такова: восстановить векторное поле, заданное на конечном множестве. Формально:
Предлагается следующий вид интерполирующей функции (в общем виде):
или
,где
- константы, которые полностью задают функцию для заданной
,
- функция радиального базиса, ее выбор определяет свойства
результирующей функции (см. ниже)
Ограничения:
- константы, которые полностью задают функцию для заданной
,- функция радиального базиса, ее выбор определяет свойства
результирующей функции (см. ниже)Ограничения:
 | - условие интерполяции |
 | - граничные условия |
Имеет r+2 свободных переменных и r+2 ограничения, что дает полностью
определенную СЛАУ. Принимаем обозначения:
 | - матрица системы |
-правая
часть
- вектор-решениеВ принятых обозначениях решение задачи интерполирования сводится к решению
системы:
 | (1) |
Отметим, что многие применяемые в практике формы RBF обеспечивают различные
свойства матрицы А (положительную определенность, диагональное преобладание и
др.), которые позволяют применять специализированные численные методы,
сокращающие объем вычислений для решения системы.
В отношении рассмотренных выше проблем полиномиального и сплайнового методов заметим, что:
- метод RBF инвариантен относительно структуры входных данных;
- стабильность результирующей RBF, т.е. отсутствие резких скачков, сводится в данном случае к устойчивости СЛАУ (1), которая, в свою очередь, определяется выбором RBF.
Виды RBF
Назовем несколько видов RBF, применяющихся на практике в различных задачах:
1)
- степенная RBF.
Аналог интерполяции полиномом.
2)
- thin-plate spline.
Используется для интерполяции гладких функций двух переменных, так как
обеспечивает наиболее гладкое приближение.
3)
- гауссиан.
Локализована вокруг центра. Примеры использования – [10].
4)
-
мультиквадратичная функция. Локализована вокруг центра.
Функции, локализованные вокруг центра, дают матрицу А специального вида, который позволяет уменьшить объем вычислений, однако отрицательно сказывается на экстраполирующих свойствах приближения. Для еще большего сокращения объема вычислений применяются функции с явно ограниченной областью, где функция отличная от нуля:
В отношении рассмотренных выше проблем полиномиального и сплайнового методов заметим, что:
- метод RBF инвариантен относительно структуры входных данных;
- стабильность результирующей RBF, т.е. отсутствие резких скачков, сводится в данном случае к устойчивости СЛАУ (1), которая, в свою очередь, определяется выбором RBF.
Виды RBF
Назовем несколько видов RBF, применяющихся на практике в различных задачах:
1)
- степенная RBF.
Аналог интерполяции полиномом.2)
- thin-plate spline.
Используется для интерполяции гладких функций двух переменных, так как
обеспечивает наиболее гладкое приближение. 3)
- гауссиан.
Локализована вокруг центра. Примеры использования – [10].4)
-
мультиквадратичная функция. Локализована вокруг центра.Функции, локализованные вокруг центра, дают матрицу А специального вида, который позволяет уменьшить объем вычислений, однако отрицательно сказывается на экстраполирующих свойствах приближения. Для еще большего сокращения объема вычислений применяются функции с явно ограниченной областью, где функция отличная от нуля:
В этом случае число ненулевых значений в матрице A резко сокращается,
вместе с ним уменьшается объем необходимых для решения задачи вычислений.
Недостатком использования таких функций
Radial Based Networks
Описанный выше метод является частным случаем механизма, получившего название сети функций радиального базиса (Radial Based Network – RBN или Radial Based Function Neural Network - RBFNN). Термин RBFNN появился в конце 80-х годов, однако его корни уходят в значительно более старые техники распознавания образов (функции потенциала, кластеризация, функциональная аппроксимация [1]). Термин обозначает нейронные сети специального вида:
Radial Based Networks
Описанный выше метод является частным случаем механизма, получившего название сети функций радиального базиса (Radial Based Network – RBN или Radial Based Function Neural Network - RBFNN). Термин RBFNN появился в конце 80-х годов, однако его корни уходят в значительно более старые техники распознавания образов (функции потенциала, кластеризация, функциональная аппроксимация [1]). Термин обозначает нейронные сети специального вида:
Здесь
-
активационная функция радиального базиса. В RBFNN используются локализованные
функции, активизирующиеся только в некоторой окрестности центра Xi.
Это дает возможность строить топологию сети таким образом, что отдельные части
входного сигнала активизируют только определенную часть нейронов скрытого
слоя.Построение RBFNN включает в себя: указание вида активационной функции, числа нейронов скрытого слоя, критерий для моделирования конкретной задачи и алгоритм обучения сети. Под обучением RBFNN понимается нахождение весов
. Заключение. Применение RBF.
В данной статье был представлен краткий обзор методов, основанный на применении функций радиального базиса (RBF). Сети RBF предоставляют мощный и эффективный метод функциональной аппроксимации и интерполяции [2,3,7,8]. В силу своей нелинейной природы RBFNN могут моделировать сложные отображения, реализация которых с помощью персептронных сетей требует нескольких промежуточных слоев. Они успешно применяются при решении целого ряда задач:
- моделирование случайных процессов [5,9]
- моделирование параметров электронных приборов, выравнивание сигнала [4,11,12]
- распознавание речи [11,13]
- восстановление изображения [14]
- shape-from-shading [15]
- моделирование трехмерных объектов [8,16,17] и др.
Приложение. Примеры использования RBF.
- Реконструкция поверхностей.
Pис.1: Реконструкция поверхности в трехмерном пространстве. [17]
- Моделирование поверхностей.
Рис.2: Моделирование поверхности в трехмерном пространстве
по облаку точек. [17]
- Интерполяция
Рис.3: Интерполяция модели (800 точек) [18]
- Подавление шума.
Рис.4: Подавление шума.
Пояснение: RBFNN имеет три входа (x,y,z), шесть RBF-узлов в скрытом слое и
один выход (принадлежит/не принадлежит модели). Сеть тренируется на зашумленном
образце. После этого при подаче на вход точки сеть выдает факт принадлежности,
только если точка принадлежит модели без шума.
[6,16]
Библиография:
[1] Tou, J. T., Gonzalez. R.C. (1974) Pattern Recognition. Reading, MA: Addison-Wesley.
[2] Park, J. (1991) Universal approximation using radial basis function network, Neural Computation
[3] Poggio, T. (1990) "Networks for approximation and learning", Proc. IEEE, vol.78, no.9, pp.1481-1497
[4] Haykin, S. (1994) Neural Networks: A comprehensive Foundation. Upper Saddle River, NJ: Prentice Hall.
[5] Moody, J. (1989) "Fast learning in networks of locally-tuned processing units," Neural Computation, Vol.1, pp.281-294
[6] Bors, A.G., (1996) "Median radial basis functions neural network," IEEE Trans. On Neural Networks, vol.7
[7] Broomhead, D.S. (1988) "Multivariable functional interpolation and adaptive networks," Complex Systems, vol.2
[8] Matej, S. (1996) "Practical considerations for 3-D image reconstruction using spherically symmetric volume elements," IEEE Trans. On Medical Imaging, vo.15
[9] Casdagli, M. (1989) "Nonlinear prediction of chaotic time series," Physica D, vol.35
[10] Sanner R. (1994) "Gaussian networks for direct adaptive control,"
[11] Bors, A.G. (1994) "Minimal topology for a radial basis function neural network for pattern classification", Digital Signal Processing, vol.4
[12] Chen, S. (1991) "Orthogonal least squares learning algorithm for radial basis function networks"
[13] Niranjan, M. (1990) "Neural networks and radial basis functions in classifying static speech patterns," Computer Speech and Language, vol.4
[14] Cha, I. (1996) "RBFN restoration of nonlinearly degraded images", IEEE Trans. On Image Processing, vol.5
[15] Wei, G.-Q. (1997) "Parametric shape-from-shading by radial basis functions", IEEE Trans on Pattern Analysis and Machine Intelligence, vol.19
[16] Bors, A.G. (1999) "Object classification in 3-D images using alpha-trimmed mean radial basis function network," IEEE Trans. on Image Processing, vol.8
[17] Carr, J.C. (2001) "Reconstruction and Representation of 3D Objects with Radial Basis Functions", SIGGRAPH 2001
[18] Morse, B.S. "Interpolating Implicit Surfaces From Scattered Surface Data
Using Compactly Supported Radial Basis Functions",
Библиография:
[1] Tou, J. T., Gonzalez. R.C. (1974) Pattern Recognition. Reading, MA: Addison-Wesley.
[2] Park, J. (1991) Universal approximation using radial basis function network, Neural Computation
[3] Poggio, T. (1990) "Networks for approximation and learning", Proc. IEEE, vol.78, no.9, pp.1481-1497
[4] Haykin, S. (1994) Neural Networks: A comprehensive Foundation. Upper Saddle River, NJ: Prentice Hall.
[5] Moody, J. (1989) "Fast learning in networks of locally-tuned processing units," Neural Computation, Vol.1, pp.281-294
[6] Bors, A.G., (1996) "Median radial basis functions neural network," IEEE Trans. On Neural Networks, vol.7
[7] Broomhead, D.S. (1988) "Multivariable functional interpolation and adaptive networks," Complex Systems, vol.2
[8] Matej, S. (1996) "Practical considerations for 3-D image reconstruction using spherically symmetric volume elements," IEEE Trans. On Medical Imaging, vo.15
[9] Casdagli, M. (1989) "Nonlinear prediction of chaotic time series," Physica D, vol.35
[10] Sanner R. (1994) "Gaussian networks for direct adaptive control,"
[11] Bors, A.G. (1994) "Minimal topology for a radial basis function neural network for pattern classification", Digital Signal Processing, vol.4
[12] Chen, S. (1991) "Orthogonal least squares learning algorithm for radial basis function networks"
[13] Niranjan, M. (1990) "Neural networks and radial basis functions in classifying static speech patterns," Computer Speech and Language, vol.4
[14] Cha, I. (1996) "RBFN restoration of nonlinearly degraded images", IEEE Trans. On Image Processing, vol.5
[15] Wei, G.-Q. (1997) "Parametric shape-from-shading by radial basis functions", IEEE Trans on Pattern Analysis and Machine Intelligence, vol.19
[16] Bors, A.G. (1999) "Object classification in 3-D images using alpha-trimmed mean radial basis function network," IEEE Trans. on Image Processing, vol.8
[17] Carr, J.C. (2001) "Reconstruction and Representation of 3D Objects with Radial Basis Functions", SIGGRAPH 2001
[18] Morse, B.S. "Interpolating Implicit Surfaces From Scattered Surface Data
Using Compactly Supported Radial Basis Functions",
- 1731 просмотр
Комментарии
Отправить комментарий