Clasificación de Nombres con Naive Bayes en Python

Curso de Algoritmos de Clasificación de Texto

Contenido del curso

Desambiguación y etiquetado de palabras

Modelos Markovianos Latentes (HMM)

Algoritmo de Viterbi

Modelos Markovianos de máxima entropía (MEMM)

Clasificación de texto con NLTK

Implementación de un modelo de clasificación de texto

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0015:32

Clasificación de Nombres con Naive Bayes en Python

Curso de Algoritmos de Clasificación de Texto

Clase 19 de 26

Clase 19 / 26

Recursos

¿Cómo realizar una clasificación de palabras usando NLTK en Google Colab?

La clasificación de palabras es una habilidad esencial en el procesamiento del lenguaje natural y lo puedes lograr fácilmente empleando Python y herramientas como NLTK. Este proceso comienza por la preparación de un notebook en Google Colab y la importación de las librerías principales: NLTK y random. ¿Te gustaría saber más? ¡Sigue leyendo!

¿Cómo importar un dataset en NLTK?

El primer paso es descargar un dataset crucial para la clasificación. Utilizaremos names, un corpus de NLTK que contiene nombres masculinos y femeninos en inglés. Puedes acceder a él de la siguiente forma:

import nltk
import random

# Descarga e importa el dataset
nltk.download('names')
from nltk.corpus import names

¿Cómo construir una función de extracción de atributos?

Para empezar a clasificar, necesitas definir qué atributos vas a considerar. La última letra del nombre es un atributo básico, pero también puede ser muy revelador:

def attribute_extractor(word):
    return {'last_letter': word[-1]}

¿Cómo crear y mezclar listas de nombres etiquetados?

Crear listas de nombres y sus etiquetas es un proceso fundamental. Aquí te muestro cómo hacer esto tanto para nombres masculinos como femeninos:

male_names = [(name, 'male') for name in names.words('male.txt')]
female_names = [(name, 'female') for name in names.words('female.txt')]

# Combina ambas listas
dataset = male_names + female_names

# Mezcla los datos para evitar sesgos
random.shuffle(dataset)

¿Cómo construir un modelo de clasificación básico?

Una vez definidas las listas, el siguiente paso es crear un modelo de clasificación utilizando la librería naivebayes de NLTK:

# Clara las listas de atributos
featuresets = [(attribute_extractor(n), gender) for (n, gender) in dataset]

# Divide el conjunto de datos
train_set, test_set = featuresets[500:], featuresets[:500]

# Crea el clasificador Naive Bayes
classifier = nltk.NaiveBayesClassifier.train(train_set)

¿Cómo verificar el desempeño del modelo?

Una vez construido tu modelo, es esencial evaluar su precisión para determinar su efectividad:

# Verifica la precisión
print(nltk.classify.accuracy(classifier, test_set))

En nuestro ejemplo, la precisión oscila alrededor del 75%, lo cual puede no ser lo ideal, pero es un comienzo prometedor.

¿Cómo mejorar los atributos para una clasificación más precisa?

Mejorar el modelo implica definir atributos más complejos y precisos. Una nueva función de extracción de atributos puede considerar, además de la última letra, la primera letra u otras características más sofisticadas como el número de veces que una letra aparece en un nombre:

def enhanced_attribute_extractor(name):
    features = {
        'first_letter': name[0].lower(),
        'last_letter': name[-1].lower(),
    }
    for letter in 'abcdefghijklmnopqrstuvwxyz':
        features[f"count({letter})"] = name.lower().count(letter)
        features[f"has({letter})"] = (letter in name.lower())
    return features

Con esto, puedes reconstruir las listas de atributos y seguir el mismo procedimiento para el entrenamiento y evaluación del modelo.

¿Qué sigue después de la ingeniería de atributos?

Recuerda, la ingeniería de atributos es una tarea iterativa y creativa. Practica usando un dataset en español para aplicar lo aprendido y descubrir si las mismas técnicas funcionan igual al cambiar de idioma. Atrévete a experimentar y comparte tus resultados. ¡No olvides que cada intento es un aprendizaje para convertirte en un experto en procesamiento de lenguaje natural!

Gabriel Obregón

Hace un año

🎯Clasificación de Palabras con NLTK (Google Colab)

🧠 ¿Qué es la clasificación de palabras?

La clasificación de palabras es una técnica del procesamiento del lenguaje natural (PLN) que permite identificar características (por ejemplo, el género de un nombre). Con Python + NLTK, puedes construir un modelo automático para clasificar nombres fácilmente.

🧰 1. Prepara tu entorno

💻 En Google Colab:

Abre un nuevo notebook.
Importa las librerías necesarias:

import nltk

import random

📦 2. Descarga el dataset

📚 Dataset: names (de NLTK) Incluye listas de nombres masculinos y femeninos en inglés.

nltk.download('names')

from nltk.corpus import names

📁 Archivos:

male.txt → nombres masculinos
female.txt → nombres femeninos

🧩 3. Define los atributos

🎯 Meta: decirle al modelo qué observar. Primer atributo: última letra del nombre.

def attribute_extractor(word):

return {'last_letter': word[-1]}

💡 La última letra puede revelar mucho sobre el género del nombre.

🧍‍♂️🧍‍♀️ 4. Etiqueta y mezcla los datos

🧾 Crea listas de nombres con sus etiquetas:

male_names = [(name, 'male') for name in names.words('male.txt')]

female_names = [(name, 'female') for name in names.words('female.txt')]

🔄 Combina y mezcla los datos:

dataset = male_names + female_names

random.shuffle(dataset)

🌀 Mezclar evita sesgos en el entrenamiento.

⚙️ 5. Construye el modelo

🏗️ Usa el clasificador Naive Bayes de NLTK:

featuresets = [(attribute_extractor(n), gender) for (n, gender) in dataset]

train_set, test_set = featuresets[500:], featuresets[:500]

classifier = nltk.NaiveBayesClassifier.train(train_set)

🧠 El modelo aprende a predecir si un nombre es masculino o femenino.

📊 6. Evalúa la precisión

📈 Verifica qué tan bien clasifica:

print(nltk.classify.accuracy(classifier, test_set))

✅ Resultado típico: alrededor del 75% de precisión

📉 Aún hay margen de mejora, pero es un buen comienzo.

🚀 7. Mejora tus atributos

🎨 Haz tu modelo más inteligente: Agrega más características como la primera letra y la frecuencia de cada letra.

def enhanced_attribute_extractor(name):

features = {

'first_letter': name[0].lower(),

'last_letter': name[-1].lower(),

}

for letter in 'abcdefghijklmnopqrstuvwxyz':

features[f"count({letter})"] = name.lower().count(letter)

features[f"has({letter})"] = (letter in name.lower())

return features

🧩 Con esta versión, el modelo dispone de mucha más información para decidir.

💡 8. Ingeniería de atributos: tu siguiente paso

⚙️ La mejora de un modelo depende de la creatividad para diseñar buenos atributos. 📊 Prueba con un dataset en español, compara los resultados y analiza las diferencias.

✨ Recuerda:

Cada cambio te enseña algo nuevo.
Experimentar = aprender.
No hay un único camino correcto.

Comentarios (22)22 comentarios

johan Stever Rodriguez Molina

Hace 6 años

Francisco Garcia [C6]

Jose Daniel Gallegos Padilla

Luis Enrique Sanchez Piñerua

Alexander carpio mamani

Ricardo Moreno

Daniel Eishu Oyama Arevalo

Cristian Y. Juzga

Hace 4 años

Rafael Rivera

Herman Castillo R

Eday Alix González Manjarrés

Sebastián Bustos Cordero

Hace 2 meses

Mauricio Escobar

Hace 6 meses

Juan Jose Tovar

Andrés Felipe Rubiano Moreno

Jhon Freddy Tavera Blandon

Hace 2 años

Luis Angel Mata Estrada

Hace 3 años

Emilio José Chaparro Barrera

Felipe Andres Torres Haro

Hace 5 años

Omar Larasa

rusbel bermúdez rivera

Gabriel Salvador

Desambiguación y etiquetado de palabras

Clasificación de Texto con Machine Learning

Etiquetado de Palabras en Python con NLTK y Stanza

Uso de Stanza para Procesamiento de Lenguaje Natural en Español

Modelos Markovianos Latentes (HMM)

Modelos Marcovianos Latentes en PLN: Fundamentos y Aplicaciones

Matemáticas de Cadenas de Markov y su Aplicación en Modelos Latentes

Modelos Marcovianos Latentes: Etiquetado Gramatical Automático

Implementación de Modelos Marcovianos Latentes en Python con Google Colab

Entrenamiento de Modelos Marcobianos Latentes en Python

Algoritmo de Viterbi

Decodificación de Secuencias con el Algoritmo de Viterbi

Cálculo de Probabilidades en el Algoritmo de Viterbi

Implementación del Algoritmo de Viterbi en Python con NumPy

Implementación del Algoritmo Viterbi para Modelos Ocultos de Markov

Implementación de Modelos Ocultos de Markov en NLTK y Python

Modelos Markovianos de máxima entropía (MEMM)

Modelos Marcovianos de Máxima Entropía en Clasificación de Etiquetas

Algoritmo BiTerbi en Modelos de Máxima Entropía

Entrenamiento y Decodificación de Modelos Marcobianos en Bitterbi

Clasificación de texto con NLTK

Clasificación de Texto en Machine Learning: Teorías y Aplicaciones

Clasificación de Nombres por Género con NLTK en Python

Clasificación de Nombres con Naive Bayes en Python

Clasificación de correos: Filtrado de spam con Naive Bayes

Implementación de un modelo de clasificación de texto

Funcionamiento Matemático del Clasificador Naive Bayes

Preparación de Datos para Modelo Naive Bayes en Python

Implementación del Algoritmo Naive Bayes en Python con spaCy

Implementación del Método Predict en Naive Bayes Clasificador

Métricas de Evaluación en Modelos de Clasificación: Accuracy, Precision y Recall

Clasificación de Sentimientos con Reviews de Amazon

Clasificación de Nombres con Naive Bayes en Python