Seguimiento de mirada con Face Mesh

Contenido del curso

Introducción y Visión General de SecureVision AI

Procesamiento de Imágenes y Fundamentos de OpenCV

Segmentación de Imágenes con YOLO

Detección de Objetos con YOLO

Pose Estimation con Mediapipe

Entrenamiento y Creación de Modelos Personalizados con YOLO

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:008:17

Seguimiento de mirada con Face Mesh

Curso de Visión Artificial con Python

Clase 11 de 16

Clase 11 / 16

Recursos

El seguimiento de la mirada con Mediapipe y OpenCV permite detectar puntos clave del rostro, calcular la posición del iris y estimar hacia dónde miras en tiempo real. Esta guía te muestra cómo implementarlo paso a paso usando Face Mesh, ideal si trabajas en visión por computadora aplicada a interfaces, accesibilidad o análisis de comportamiento.

¿Qué hace Face Mesh para detectar los ojos?

Face Mesh es el módulo de Mediapipe que identifica cientos de landmarks faciales en tiempo real. En la primera aproximación del proyecto, solo se muestran en pantalla los dos extremos exteriores de los ojos, aunque internamente el modelo procesa todos los puntos del rostro [00:13].

Una característica interesante: si te tapas un ojo, el modelo predice la posición por probabilidad. Pero si cubres una porción mayor de la cara, el tracking se pierde. Eso te da una idea del margen de confianza con el que trabaja.

¿Qué es un landmark facial? Es un punto característico del rostro, como el extremo de un ojo o la punta de la nariz, identificado por un número específico dentro del modelo de Mediapipe.

¿Cómo se configura la detección mínima en Mediapipe?

El script trabaja con dos parámetros base que defines al inicializar Face Mesh [01:00]:

min_detection_confidence en 0.5: si la probabilidad supera el 50%, muestra el rostro.
min_tracking_confidence en 0.5: mismo umbral para mantener el tracking entre frames.
cv2.VideoCapture(0) si tienes una sola cámara, o 1, 2, etc., si manejas varias.

Una vez habilitada la cámara, capturas frame por frame y haces la conversión de BGR a RGB antes de pasarle la imagen al modelo. Ese paso es obligatorio porque OpenCV trabaja en BGR y Mediapipe espera RGB.

¿Cómo obtener los extremos del ojo izquierdo y derecho?

Mediapipe usa coordenadas relativas, con valores entre 0 y 1. Para convertirlas en coordenadas absolutas dentro del frame, multiplicas la coordenada X por el ancho y la Y por la altura [02:30].

Los landmarks clave para los extremos exteriores son:

Landmark 33: extremo del ojo izquierdo.
Landmark 263: extremo del ojo derecho.

Con esas coordenadas absolutas dibujas un círculo verde en cada extremo usando cv2.circle. Para cerrar la ventana, agregas la condición de que al presionar la tecla Q, el bucle termine.

¿Cómo se detecta el centro del iris con Mediapipe?

Algunos estudios recomiendan usar el centro del iris en lugar de los extremos del ojo para mejorar la precisión del seguimiento de mirada [03:50]. Para activarlo, debes habilitar el parámetro refine_landmarks=True al inicializar Face Mesh.

Este refinamiento funciona mejor cuando tu rostro está cerca de la cámara y bien iluminado.

¿Para qué sirve refine_landmarks en Face Mesh? Activa la detección de cuatro puntos adicionales por iris, lo que permite calcular el centro de la pupila con mayor exactitud.

¿Qué landmarks corresponden al iris?

Al activar el refinado aparecen ocho puntos extra, cuatro por cada ojo. Para el ojo izquierdo son los landmarks 468, 469, 470 y 471 [05:10]. Para el ojo derecho se aplican los siguientes en la secuencia.

El cálculo es directo:

Recorres los cuatro puntos sumando uno en uno.
Promedias sus coordenadas X e Y.
Ese promedio define el centro del iris, que dibujas como un círculo azul.

La misma operación se replica para el ojo derecho. Así obtienes la posición de ambas pupilas en cada frame.

¿Por qué usar el punto medio entre extremos del ojo?

La estrategia final del proyecto no usa el iris, sino un punto medio entre los dos extremos del ojo [06:40]. La lógica es práctica: cuando observas algo muy cerca, tu mirada tiende a converger en esa dirección, y el punto medio es un buen estimador.

El cálculo es simple: sumas las coordenadas X de los dos extremos y divides entre dos, lo mismo con Y. Repites para el ojo derecho. El resultado se dibuja como un punto azul entre los dos puntos verdes.

Esta aproximación tiene ventajas:

Menor costo computacional al no requerir refinado de landmarks.
Estabilidad cuando el iris no se detecta bien por iluminación.
Suficiente precisión para tracking a corta distancia.

¿Qué herramientas necesitas para replicar el proyecto?

El stack es mínimo y accesible:

OpenCV para captura de video y dibujo de círculos.
Mediapipe con el módulo Face Mesh activado.
Python como lenguaje base del script.
Una cámara web funcional, idealmente bien iluminada y cercana al rostro.

Con esos elementos ya tienes una primera versión del seguimiento de mirada lista para iterar.

Ahora viene tu turno: aplica la misma lógica para rastrear la punta de la nariz, toma un screenshot del resultado y comparte tu código en los comentarios.

Dylan Ortega

Hace un año

Primer forma (no sé si es la más adecuada, pero es la más acorde a lo enseñado): import cv2

import mediapipe as mp

# Inicializar Face Mesh de Mediapipe

mp_face_mesh = mp.solutions.face_mesh

face_mesh = mp_face_mesh.FaceMesh(min_detection_confidence=0.5, min_tracking_confidence=0.5)

# Capturar video de la webcam

cap = cv2.VideoCapture(0)

while cap.isOpened():

ret, frame = cap.read()

if not ret:

break

frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

resultados = face_mesh.process(frame_rgb)

if resultados.multi_face_landmarks:

for face_landmarks in resultados.multi_face_landmarks:

# Obtener puntos clave de los ojos

left_eye = face_landmarks.landmark[33]

right_eye = face_landmarks.landmark[263]

mej_der = face_landmarks.landmark[214]

mej_izq = face_landmarks.landmark[434]

# Pasarla a coordenadas absolutas

h, w, _ = frame.shape

left_eye_coords = (int(left_eye.x * w), int(left_eye.y * h))

right_eye_coords = (int(right_eye.x * w), int(right_eye.y * h))

mej_der_coords = (int(mej_der.x * w), int(mej_der.y * h))

mej_izq_coords = (int(mej_izq.x * w), int(mej_izq.y * h))

# Calcular el punto medio de los ojos

mid_eye = ((left_eye_coords[0] + right_eye_coords[0]) // 2,

(left_eye_coords[1] + right_eye_coords[1]) // 2,

)

mid_mej = (

(mej_izq_coords[0] + mej_der_coords[0]) // 2 ,

(mej_izq_coords[1] + mej_der_coords[1]) // 2,

)

nariz = (

(mid_eye[0] + mid_mej[0]) // 2 ,

(mid_eye[1] + mid_mej[1]) // 2 ,

)

# Dibujar los puntos clave

cv2.circle(frame, left_eye_coords, 3, (0, 255, 0), -1)

cv2.circle(frame, right_eye_coords, 3, (0, 255, 0), -1)

cv2.circle(frame, mej_izq_coords, 3, (0, 255, 0), -1)

cv2.circle(frame, mej_der_coords, 3, (0, 255, 0), -1)

#cv2.circle(frame, mid_eye, 3, (255, 0, 0), -1) # Punto medio

#cv2.circle(frame, mid_mej, 3, (255, 0, 0), -1) # Punto medio

cv2.circle(frame, nariz, 3, (255, 0, 0), -1)

cv2.imshow("Seguimiento de Mirada", frame)

if cv2.waitKey(1) & 0xFF == ord('q'):

break

cap.release()

cv2.destroyAllWindows()

face_mesh.close()

Segunda forma (Teniendo en cuenta el punto exacto de la imagen de puntos faciales): import cv2

import mediapipe as mp

# Inicializar Face Mesh de Mediapipe

mp_face_mesh = mp.solutions.face_mesh

face_mesh = mp_face_mesh.FaceMesh(min_detection_confidence=0.5, min_tracking_confidence=0.5)

# Capturar video de la webcam

cap = cv2.VideoCapture(0)

while cap.isOpened():

ret, frame = cap.read()

if not ret:

break

frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

resultados = face_mesh.process(frame_rgb)

if resultados.multi_face_landmarks:

for face_landmarks in resultados.multi_face_landmarks:

# Obtener puntos clave de los ojos

nariz = face_landmarks.landmark[4]

# Pasarla a coordenadas absolutas

h, w, _ = frame.shape

nariz_coords = (int(nariz.x * w), int(nariz.y * h))

# Dibujar los puntos clave

cv2.circle(frame, nariz_coords, 3, (255, 0, 0), -1)

cv2.imshow("Seguimiento de Mirada", frame)

if cv2.waitKey(1) & 0xFF == ord('q'):

break

cap.release()

cv2.destroyAllWindows()

face_mesh.close()

Introducción y Visión General de SecureVision AI

Cómo contar personas en video con YOLO

Detección, segmentación y pose estimation

Procesamiento de Imágenes y Fundamentos de OpenCV

Procesamiento de Imágenes en Tiempo Real con OpenCV y Python

Creación de Mapas de Calor para Análisis de Tránsito en Videos

Segmentación de Imágenes con YOLO

Segmentación en tiempo real con YOLOv11

Heatmap de personas con YOLO y OpenCV

Detección de Objetos con YOLO

Selección e Instalación de Modelos YOLO para Detección de Objetos

Implementación de Detector de Objetos con Yolo v11

Conteo de Clientes en Locales con Yolo y OpenCV

Pose Estimation con Mediapipe

Mapa de Calor con MediaPy para Análisis de Producto

Seguimiento de mirada con Face Mesh

Creación de mapas de calor para seguimiento ocular en videos

Entrenamiento y Creación de Modelos Personalizados con YOLO

Detección de Fallas de Soldadura con YOLO y Modelos Personalizados

Ajuste de Hiperparámetros en Modelos de Aprendizaje Automático

Etiquetado de Imágenes con Label Studio y Exportación a Yolo

Casos reales de visión artificial con YOLO

Seguimiento de mirada con Face Mesh

Progreso del curso

Introducción y Visión General de SecureVision AI

Procesamiento de Imágenes y Fundamentos de OpenCV

Segmentación de Imágenes con YOLO

Detección de Objetos con YOLO

Pose Estimation con Mediapipe

Entrenamiento y Creación de Modelos Personalizados con YOLO

Recursos

Recursos