A target oriented averaging search trajectory and its application in artificial neural networks / Ángel Adrián Rojas Jiménez ; tutor Oscar Guillermo Chang Tortolero
Tipo de material:
TextoIdioma: Inglés Idioma del resumen: Español Fecha de copyright: Urcuquí, 2019Descripción: 56 hojas : ilustraciones (algunas a color) ; 30 cm + 1 CD-ROMTema(s): Recursos en línea: Nota de disertación: Trabajo de integración curricular (Matemático). Universidad de Investigación de Tecnología Experimental Yachay. Urcuquí, 2019 Resumen: El entrenamiento de redes neuronales artificiales usualmente involucran funciones objetivos no suaves a ser minimizadas. Este problema de optimización actualmente se resuelve evitando puntos de ensilladura y por tanto alcazando un minimizador local o global. Optimizadores conocidos como Descenso por Gradiente (GD) o su versión estocastica llamada Método de Gradiente Estocástico (SG) dependen de la dirección de descenso mas proximo. Analisis de convergencia de estos métodos dejan mucho que desear cuando se asume que convexiddad y/o suavidad local (véase, [1][2]). Aunque en la practica estos métodos iterativos funcionan bien a través de la estrategia de propagación de error hacia atras, nosotros desarrollamos un método determinístico de optimización global llamado SALGO-TOAST. El acrónimo de SALGO describen las iniciales en ingles de la técnica Succesive Abs-Linearization o Abs-Linearizaciones Sucesivas de la funcion objetivo y la tarea de Global Optimization u Optimización Global sobre la aproximacion mencionada. Lo último es realizado a través de nuestro método de trajectoria de búsqueda promediada orientada a objetivos o TOAST. Su nombre trata de explicar el comportamiento de las direcciones de búsqueda obtenidas en el método. De hecho, cada direccion de búsqueda está definida por un promedio de la dirección de descenso mas proximo y orientado por un valor objetivo a ser alcanzado [4]. La diferencia principal de nuestra estrategia y el algoritmo de propogación de error hacia atrás es nuestra consideracion de la no suavidad de la funcion de prediccion. Implementamos TOAST al entrenamiento de redes neuronales artificiales con funciones de activación de visagra o ReLUs para solucionar el problema de aprendizaje de la regresión de la funcion Griewank y el reconocimiento de imagenes de dígitos. Los resultados son comparados con SG, GD y otro método determinísticco llamado Optimización Mixta Entero Lineal (MILOP). Este último método tiene una formulación preliminaria y es la única con el que puede ser probado que un mínimo global ha sido obtenido [6].
| Tipo de ítem | Biblioteca actual | Signatura | Copia número | Estado | Fecha de vencimiento | Código de barras | Reserva de ítems | |
|---|---|---|---|---|---|---|---|---|
Tesis
|
Biblioteca Yachay Tech | ECMC0012 (Navegar estantería(Abre debajo)) | 1 | No para préstamo | T000053 |
Navegando Biblioteca Yachay Tech estanterías Cerrar el navegador de estanterías (Oculta el navegador de estanterías)
Trabajo de integración curricular (Matemático). Universidad de Investigación de Tecnología Experimental Yachay. Urcuquí, 2019
Incluye referencias bibliográficas (páginas 47-48)
Trabajo de integración curricular con acceso abierto
Texto (Hypertexto links)
El entrenamiento de redes neuronales artificiales usualmente involucran funciones objetivos no suaves a ser minimizadas. Este problema de optimización actualmente se resuelve evitando puntos de ensilladura y por tanto alcazando un minimizador local o global. Optimizadores conocidos como Descenso por Gradiente (GD) o su versión estocastica llamada Método de Gradiente Estocástico (SG) dependen de la dirección de descenso mas proximo. Analisis de convergencia de estos métodos dejan mucho que desear cuando se asume que convexiddad y/o suavidad local (véase, [1][2]). Aunque en la practica estos métodos iterativos funcionan bien a través de la estrategia de propagación de error hacia atras, nosotros desarrollamos un método determinístico de optimización global llamado SALGO-TOAST. El acrónimo de SALGO describen las iniciales en ingles de la técnica Succesive Abs-Linearization o Abs-Linearizaciones Sucesivas de la funcion objetivo y la tarea de Global Optimization u Optimización Global sobre la aproximacion mencionada. Lo último es realizado a través de nuestro método de trajectoria de búsqueda promediada orientada a objetivos o TOAST. Su nombre trata de explicar el comportamiento de las direcciones de búsqueda obtenidas en el método. De hecho, cada direccion de búsqueda está definida por un promedio de la dirección de descenso mas proximo y orientado por un valor objetivo a ser alcanzado [4]. La diferencia principal de nuestra estrategia y el algoritmo de propogación de error hacia atrás es nuestra consideracion de la no suavidad de la funcion de prediccion. Implementamos TOAST al entrenamiento de redes neuronales artificiales con funciones de activación de visagra o ReLUs para solucionar el problema de aprendizaje de la regresión de la funcion Griewank y el reconocimiento de imagenes de dígitos. Los resultados son comparados con SG, GD y otro método determinísticco llamado Optimización Mixta Entero Lineal (MILOP). Este último método tiene una formulación preliminaria y es la única con el que puede ser probado que un mínimo global ha sido obtenido [6].
Textos en inglés con resúmenes en español e inglés
No hay comentarios en este titulo.