Voz, cámara y pantalla en tiempo real con ChatGPT

El modo de voz y cámara en ChatGPT te permite interactuar con la inteligencia artificial más allá del texto, usando tu voz, tu cámara y tu pantalla en tiempo real. Si usas ChatGPT en el celular, la computadora o la web, esta guía te muestra cómo darle contexto del mundo real para resolver tareas cotidianas.

Cada aplicación de ChatGPT (móvil, escritorio y web) ofrece formas distintas de darle información. Y aquí está lo interesante: no todas las funciones están en todos lados, así que vale la pena saber qué puedes hacer en cada una.

¿Cómo funciona la conversación en vivo con ChatGPT?

La primera función, disponible en la app web y móvil, es la conversación por voz en tiempo real. La reconoces por la onda de audio y un botón a la derecha que inicia el diálogo hablado.

Lo más útil de este modo es que puedes interrumpir a ChatGPT mientras responde. En la clase, al empezar a hablar, el modelo se detiene de inmediato. Eso permite iterar rápido: puedes pedirle que cambie el tono, por ejemplo, que hable "como un amigo" o con un estilo coloquial distinto, y ajusta la respuesta sobre la marcha.

¿Para qué sirve el modo de voz de ChatGPT? Sirve para trabajar con la IA sin escribir. Puedes hablarle mientras caminas, estás en el gimnasio o guardas el teléfono en el bolsillo, y seguir la conversación con manos libres.

Este modo brilla cuando estás en movimiento. Sacas al perro a pasear, guardas el celular y sigues conversando. En la computadora también funciona si quieres iterar en tiempo real sin teclear [00:52].

¿Cómo usar la cámara y las fotos para dar contexto?

La segunda función vive en la app de escritorio y en la móvil. Desde el signo de más encuentras dos opciones clave: subir una foto o tomar una foto directamente [02:34].

En la clase se prueba con una imagen de una mano y la pregunta "¿cuántos dedos ves?". ChatGPT responde correctamente: identifica dos dedos levantados en señal de paz y detecta cinco dedos visibles, tres de ellos doblados [03:31]. Eso demuestra que el modelo es capaz de ver imágenes y describir lo que ocurre en ellas.

Los casos de uso son concretos:

• Apuntar la cámara a una bicicleta que reparas y preguntar qué se ve diferente.
• Fotografiar una factura para que extraiga los datos y los convierta en Excel.
• Digitalizar notas escritas a mano pidiéndole que las transcriba a una tabla.

La idea es simple: capturas información del mundo real y la digitalizas rápido, ya sea desde el teléfono o la computadora.

¿Cómo capturar la pantalla para trabajar con diagramas?

En la app de escritorio existe la opción de tomar una captura de pantalla directamente dentro del chat. Seleccionas cualquier ventana o monitor abierto, das clic y la captura aparece sola en la conversación [04:15].

La ventaja es que te ahorras el proceso de recortar, pegar o usar la tecla print screen en Windows o el comando en Mac. Puedes arrastrar varias capturas y sumar contexto en segundos.

¿Qué es Mermaid y para qué se usa? Mermaid es un lenguaje de código que convierte texto en diagramas y flujogramas. Pegas el código en un editor como mermaid.live y obtienes el diagrama dibujado, listo para editar y descargar.

En la demostración, se le pasan diagramas dibujados a mano y se le pide convertirlos en código Mermaid. ChatGPT genera el código, se copia y se pega en mermaid.live, uno de varios editores gratuitos [05:26]. El resultado es un flujograma esquematizado que puedes editar, ajustar y exportar cambiando de formato.

¿Qué es el modo en vivo con pantalla y cámara en el celular?

La última función avanzada es exclusiva de la app móvil: el chat en vivo con video. Al activarlo y tocar el signo de más, aparece la opción de compartir pantalla o compartir cámara [06:44].

Con compartir pantalla, muestras lo que ves en el teléfono y le preguntas sobre cualquier app abierta. Con la cámara en modo en vivo, ChatGPT ve tu entorno físico y lo describe. En la clase reconoce un set de grabación: una cámara sobre trípode, un teleprompter, un ventilador y una pared con diseño de listones de madera [07:22].

Luego describe al productor del curso: sentado con los brazos cruzados, playera oscura, jeans y una iluminación con tinte rojizo. Todo respondido en tiempo real [07:44].

Esto ocurre porque el modelo detrás de ChatGPT puede ver imágenes, hablar en tiempo real y entender video. Esa combinación abre casos de uso donde le das información del mundo real y te responde al instante.

¿Cómo usarías tú estas funciones en tu día a día? Cuéntanos en los comentarios qué se te ocurrió.