LSTM

Las Long Short-Term Memory (LSTM) surgieron en 1997 como una solución a los problemas de desvanecimiento y explosión del gradiente que afectaban a las Redes Neuronales Recurrentes (RNN) tradicionales. Estos problemas dificultaban el entrenamiento efectivo de las RNNs en tareas que requerían aprender dependencias a largo plazo en secuencias de datos.

Problemas en las RNNs Tradicionales

1. Desvanecimiento del Gradiente:

   • Ocurre cuando los gradientes que se propagan hacia atrás a través del tiempo durante el entrenamiento se vuelven muy pequeños. Esto causa que las actualizaciones de los pesos sean insignificantes, impidiendo que la red aprenda dependencias a largo plazo.

   • Matemáticamente, esto sucede debido a la multiplicación repetida de gradientes pequeños (menores a 1) durante la retropropagación, lo que disminuye exponencialmente el gradiente a medida que retrocede a través de más pasos temporales.

2. Explosión del Gradiente:

   • Ocurre cuando los gradientes que se propagan hacia atrás se vuelven extremadamente grandes, lo que causa inestabilidad en el proceso de entrenamiento y puede llevar a que los pesos de la red tomen valores extremadamente grandes.

   • Esto sucede debido a la multiplicación repetida de gradientes grandes (mayores a 1) durante la retropropagación, lo que aumenta exponencialmente el gradiente.

Solución Propuesta: LSTM

Las LSTM fueron propuestas en 1997 para abordar estos problemas mediante una arquitectura que incluye "celdas de memoria" y una serie de "puertas" que regulan el flujo de información a través de la red.

Arquitectura de las LSTM

1. Celda de Memoria:

   • Actúa como un canal de información a largo plazo. La celda puede mantener su estado durante largos períodos, permitiendo que la red aprenda dependencias a largo plazo.

2. Puertas:

   • Puerta de Entrada $i_t$: Controla qué cantidad de la entrada actual y del estado oculto anterior debe ser almacenada en la celda de memoria. $i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$
   • Puerta de Olvido $f_t$: Decide qué información debe ser eliminada de la celda de memoria. $f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$
   • Puerta de Salida $o_t$: Determina qué parte de la información de la celda de memoria se utilizará para calcular la salida. $o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$
3. Actualización de la Celda de Memoria y el Estado Oculto:

   • Nueva Información de Candidato $\tilde{C_t}$: Se calcula usando la entrada actual y el estado oculto anterior. $\tilde{C_t} = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$
   • Actualización de la Celda de Memoria $C_t$: Combina la información de la celda anterior, la nueva información de candidato y las puertas de entrada y olvido. $C_t = f_t \cdot C_{t-1} + i_t \cdot \tilde{C_t}$
   • Actualización del Estado Oculto $h_t$: Se calcula usando la celda de memoria y la puerta de salida. $h_t = o_t \cdot \tanh(C_t)$

Ventajas de las LSTM

1. Control del Flujo de Información:

   • Las puertas permiten que la LSTM controle qué información es relevante para mantener y qué información puede ser olvidada. Esto evita la acumulación de gradientes pequeños o grandes, mitigando el desvanecimiento y la explosión del gradiente.

2. Capacidad para Aprender Dependencias a Largo Plazo:

   • La celda de memoria permite que las LSTM recuerden información durante largos períodos, lo que es crucial para tareas donde las dependencias a largo plazo son importantes, como el procesamiento del lenguaje natural y las series temporales.

Las LSTM han demostrado ser una solución efectiva para superar los problemas de desvanecimiento y explosión del gradiente, permitiendo el entrenamiento de redes neuronales profundas que pueden aprender dependencias a largo plazo en secuencias de datos. Esto ha hecho posible una amplia gama de aplicaciones exitosas en el campo del aprendizaje profundo y la inteligencia artificial.