NLP: introducción a los modelos de lenguaje y expresiones regulares

Contenido Detallado

1. 1. Explorando los datos y sus desafíos

   • Presentación
   • ML: desafios y aplicaciones
   • Regex: Primer Contacto
   • Explorando la sintaxis

2. 2. Regex en Python

   • Regex: posibles aplicaciones
   • Utilizando Regex en Python
   • Conociendo la función re.sub
   • Acelerando con re.compile

3. 3. Regex: trabajando con datos de la Web

   • Regex: eliminando TAG HTML
   • Eliminando pedazos del código
   • Tratando banco de datos

4. 4. Mejorando el tratamiento

   • Eliminación de dígitos y puntuaciones
   • Espacios duplicados
   • Aplicando en los datos en portugues
   • Aplicando en los demás idiomas

5. 5. NLTK y ML's

   • Modelos de lenguaje
   • NLTK y Bigrams
   • Caracteres falsos

6. 6. MLE: creando el primer ML

   • Datos de entrenamiento y prueba
   • Pipeline para entrenamiento de ML
   • Creando el modelo MLE
   • Perplejidad para palabras

7. 7. Entrenamiento y prueba de ML's

   • Función para entrenar ML's
   • Perplejidad para frases
   • Perplejidad infinita

8. 8. Laplace: perplejidad infinita y detección de idiomas

   • Modelo de Laplace
   • Atribuir idiomas
   • Conclusión