Historia de la inteligencia artificial desde Turing hasta GPT-4
Contenido del curso
Rosmer Campos
Miguel Angel Otero Otero
Sergio Eyzhan Del Castillo
Harold Celis
Mateo Roldán
Alfredo Olmedo
Rosmer Campos
Claudia Andrea Aparicio Chavez
Kevin Daniel Mora Gonzalez
Gerardo Cazarín
Miguel Angel Otero Otero
Job Wilson Rioja Sejas
Eloy Chávez Dev
L. Iván Carrasquel Ballesteros
José Antonio De La Paz Fonseca
LEIDY YUDIER MORENO MORENO
Gerardo Cazarín
Diego Gutierrez
FERNANDO OROZCO
Javier Ramos
FERNANDO OROZCO
Jhon Maldonado
Mauricio Pineda
Wilder Leoncio Correa Sánchez
L. Iván Carrasquel Ballesteros
Sebastián Franco
José Luis Mendez Marcano
CARLOS EDUARDO MEJÍA LUNA
augusto garzon
Roberto Carlos Jacobo Fuentes
Es correcto que Turing fue un precursor vital, no el fundador.
Su artículo de 1950, Computing Machinery and Intelligence en donde expone el Test de Turing sentaron las bases filosóficas y teóricas para la posibilidad de la IA, preguntando ¿Pueden pensar las máquinas?.
Sin embargo, su trabajo es pre-historia en el campo formal.
La IA como campo formal nace en 1956 en la Conferencia de Dartmouth, organizada por John McCarthy, quien acuñó el término "inteligencia artificial".
Gran resumen!
2025: Una avalancha de competencia que sube y baja de nivel con cada actualización, se crea una guerra fría de IA :o
1989 Como que más de 40 años (36 años)
"practicamente" 😅
naci el 89, como mas de 40? no no...estamos lejos aun XD
La clase abarcó la historia de la inteligencia artificial y la evolución de los modelos de lenguaje GPT. Se discutió desde los inicios de la computación con Alan Turing y la teoría de la computación, la creación de la primera neurona artificial, hasta los hitos como la prueba de Turing. Se mencionó el invierno de la IA y el resurgimiento con avances como AlexNet y las redes neuronales convolucionales. Se destacó el papel de Nvidia y CUDA en el entrenamiento de modelos, culminando en el desarrollo de GPT-1, GPT-2, y GPT-3, así como el impacto de ChatGPT y GPT-4 con técnicas como RLHF. Se reflexionó sobre cómo estos modelos transforman la interacción con la tecnología y su integración en productos de empresas como Meta y Google.
Un "Transformer" es un tipo de modelo de arquitectura en el campo del procesamiento del lenguaje natural y la inteligencia artificial, introducido en el artículo "Attention is All You Need" en 2017. A diferencia de modelos anteriores que usaban redes neuronales recurrentes (RNNs), los Transformers utilizan mecanismos de atención que permiten al modelo ponderar diferentes partes de la entrada de manera más eficiente. Esto les permite capturar patrones complejos en datos secuenciales, mejorando el rendimiento en tareas como traducción automática y generación de texto. Su implementación ha sido fundamental en el desarrollo de grandes modelos de lenguaje, como GPT-3 y GPT-4.
¡buen resumen!
Solo quería añadir que una de las grandes ventajas de los Transformers es que permiten el procesamiento paralelo, lo que mejora considerablemente la eficiencia del entrenamiento frente a modelos secuenciales como las RNNs.
Además, gracias al mecanismo de self-attention, cada token puede influir directamente sobre todos los demás en una secuencia, sin importar su posición. Esto significa que el modelo puede analizar la relación entre palabras que están muy alejadas entre sí, entendiendo mejor el contexto global y no solo el local.
Un benchmark es una herramienta de evaluación que permite medir el desempeño de un sistema, modelo o algoritmo en comparación con estándares o referencias establecidas. En el contexto de los modelos de lenguaje, los benchmarks son utilizados para evaluar su eficacia, precisión y capacidad de respuesta, ayudando a identificar áreas de mejora y comparar diferentes modelos. Esto es fundamental para avanzar en la investigación y desarrollo de inteligencia artificial, como se menciona en la historia de la inteligencia artificial y los LLMs.
Me impresionó cómo conectaron los orígenes teóricos de la IA (desde Turing y las primeras neuronas artificiales) con los avances actuales como GPT-4. La explicación sobre el AI Winter fue reveladora: no sabía que el escepticismo y la falta de financiamiento frenaron tanto el campo, a pesar de que tecnologías como los perceptrones hoy son esenciales.
Los hitos técnicos que mencionaron (CNN, CUDA, RLHF) ayudaron a entender por qué el boom de la IA es tan reciente: ¡sin GPUs y algoritmos como los transformers, modelos como ChatGPT no existirían! Me sorprendió el dato de que GPT pasó de 117 millones a 1.7 trillones de parámetros en pocos años.
Es cierto, muy importante e impresionante. Mi padre tiene hoy día 75 años de edad y trabajo en la "Caja de Crédito Agrario, Industrial y Minero" actualmente Banco Agrario de Colombia en 1966 como mensajero con 16 años de edad. En una charla sobre Programming en 2019 antes de la pandemia me dijo que el conoció las tarjetas de Programming que usaban funcionarios del Banco en sus visitas cada cierto tiempo. Un año después durante la pandemia en otra charla de Programming mi padre recordó que en 1969 fue almacenista de la Caja Agraria de Arauca, durante una visita de aquellos funcionarios uno de ellos durante la charla laboral contaba sobre las pruebas de Turing y las computadoras. En 1980 mi padre ya era funcionario del Servio de Salud de Arauca y como jefe de la oficina financiera visito la IBM en Bogota y allí solicito la primera extractadora de nóminas para la entidad de Salud otra gran historia.
En fin, para mi es sorprendente conocer la historia de todo este desarrollo tecnológico desde sus inicios, pero lo impactante para es que a mi padre no le trae sorpresa porque dice que siempre supuso que algún día las computadoras harían tal cual lo que hacemos con ellas y aun así dice que la tecnología lo atropella, pero charla con Geminis y ChatGPT de lo más normal para sus investigaciones y diciendo por último que se actualiza sin tanto rodeo con un santo y seña "Hijo nos merecemos un cafecito" jajajaja "el cerebro humano es lo más impactante e impactará siempre en el permanente desarrollo de las Tech en todo nuevo futuro de la humanidad para mal y para bien siempre mejorando el bienestar eso es definitivo. Las herramientas son solo eso "Herramientas" el arma es la mente humana y los buenos somos más también definitivo y debo decir la palabra favorita de Platzi, exponencial la cual me gusta y es claro para mí.
En el contexto de los modelos de lenguaje como GPT, un parámetro se refiere a una variable interna del modelo que se ajusta durante el entrenamiento. Estos parámetros son fundamentales para que el modelo haga predicciones sobre el lenguaje, ya que determinan cómo se procesan y generan las respuestas en función de las entradas. A medida que se entrenan modelos más grandes, el número de parámetros puede aumentar significativamente, lo que permite una mayor capacidad de aprendizaje y mejor rendimiento en tareas complejas de lenguaje natural.
Alan Turing fue un matemático y científico de la computación británico, conocido como uno de los padres de la inteligencia artificial. En la década de 1940, desarrolló la teoría de la computación y propuso la famosa "prueba de Turing", que evalúa si una máquina puede exhibir un comportamiento inteligente indistinguible del de un humano. Su trabajo sentó las bases para el desarrollo de las computadoras modernas y la inteligencia artificial, influyendo en la creación de los modelos de lenguaje actuales.
El término "convolucional" se refiere a una técnica utilizada en las Redes Neuronales Convolucionales (CNN), que son fundamentales para la visión por computadora y el procesamiento de imágenes. En una CNN, la convolución es una operación matemática que combina dos funciones para producir una tercera. Esto permite que el modelo detecte patrones, características o elementos en imágenes, como bordes y texturas, a través de filtros aplicados a diferentes regiones de la imagen. Esto es clave en la evolución de los modelos de inteligencia artificial, como se mencionó en la clase sobre la historia de la IA.
Un transformer es una arquitectura de red neuronal introducida en 2017 que utiliza mecanismos de atención para procesar datos secuenciales, como texto. A diferencia de modelos anteriores, los transformers pueden manejar información a largo plazo eficientemente, permitiendo una mejor captura de contextos complejos. Esta tecnología es fundamental para los grandes modelos de lenguaje (LLMs) como GPT, ya que facilita el entrenamiento en grandes conjuntos de datos, mejorando la generación de texto y la comprensión del lenguaje.
No se porque esta clase tiene preguntas, cuando este no es un curso de historia, este es el tipo de preguntas que a nadie le importa, pero que despues te ponen en el examen final solo para que lo pierdas.
Muchas veces estas preguntas son para saber si pusiste atencion al video o solo lo dejaste correr
Hola Javier Ramos, agradezco tu comentario y entiendo su punto, es completamente valido, sin embargo, estas preguntar por lo general puedes ser parte del examen final, y es alli donde molestan, pues si fallas el examen por una pregunta de historia en un examen de AI no es algo agradable.
La clase se centra en la historia de la inteligencia artificial y la evolución de los modelos de lenguaje, especialmente GPT. Los conceptos clave incluyen:
Estos aspectos ilustran cómo han progresado los LLMs y su impacto en la tecnología actual.
Respondiendo a la pregunta del resumen, creo que estos desarrollos impactarán en tres áreas clave: trabajo, educación y vida cotidiana. En el trabajo, muchas tareas rutinarias serán automatizadas, lo que exigirá que las personas se adapten a roles más creativos y estratégicos. En educación, los modelos podrán personalizar el aprendizaje según cada estudiante. Y en la vida diaria, la interacción con tecnología será más natural y accesible. Sin embargo, también surgirán retos éticos relacionados con sesgos, privacidad y dependencia excesiva. El desafío será equilibrar la innovación con la responsabilidad.
Si señor, tal cual el ciclo vital humano nacer, reproducirnos y morir. Todo con el fin de hacer una vida mejor hasta alcanzar equilibrios en cada sociedad diría yo, sea como sea el punto es el mismo en el mundo Tech y ya no es ficción y podríamos tal vez quizás ser mejores humanos gracias a la creatividad compartiendo lo aprendido.
"Trabajo, educación y vidas cotidianas"
En 1940 Alan Turing plantea la teoría de la computación la cuál planteaba un sistema binario para la comunicación de computadores, paralelamente, McCulloch y Pitts planteaban la primer neurona artificial, posteriormente, Turing plantearía la prueba de Turing, una prueba de imitación para diferenciar máquinas y humanos
La investigación de AI tuvo varios inviernos, momentos donde esta rama de las ciencias de la computación no avanzó, en concreto en los lapsos de 1970-1980 y 1987-2000. Algunos problemas fueron los pocos resultados de investigaciones financiadas, por lo que se invirtió en otras áreas
En 1989, Yann LeCun planteó la primera Convolutional Neural Network (CNN) bajo el dataset de MNIST. El uso de convoluciones es un concepto para muchas arquitecturas claves de Redes Neuronales, incluyendo los transformers
NVIDIA es la empresa clave para entrenar modelos de ML.Gracias a sus chips y a CUDA, se pueden hacer operaciones paralelas, en concreto, entrenamiento de modelos de Deep Learning lanzado en el 2007. En 2011 se logró el hito de entrenar el primer modelo bajo GPU, este modelo era AlexNet (entrenada en una GTX 580)
Todos estos avances y el del paper estrella Attention is all you need (en 2018) permitieron la creación del primer modelo generativo entrenado con transformers, GPT-1 (siendo el primer escalón para el futuro desarrollo de ChatGPT)
GPT-1 tiene 117 millones de parámetros, donde los modelos modernos tienen (en el más pequeño de los casos) 7 billones de parámetros, esto implica que las nuevas iteraciones requieren de más poder de cómputo, uno que es liberado año tras año por NVIDIA
GPT-2 nace meses después, este ahora tiene 1.5 billones de parámetros, sus mejoras fueron incrementar la cantidad de datos de entrenamiento y la cantidad de capas de atención implementada
Menos de 1 año después, OpenAI hizo release de GPT-3 más su API, permitiendo el acceso para interactuar con este modelo (este tiene 175 billones de parámetros)
A partir de este punto no hubo releases mayores por 2 años hasta el lanzamiento de ChatGPT, un producto que permitía interactuar con el modelo directamente a usuarios con una interfaz de chat y una mecánica de conversación (aparentemente el modelo under the hood era GPT-3.5, pero OpenAI dejó de dar indicaciones técnicas de sus productos a partir de este punto)
GPT-4 fue el siguiente gran lanzamiento, el cuál traería como feature principal agregar al usuario a la cadena de entrenamiento mediante el Reinforcement Learning with Human Feedback (RLHF), un mecanismo para avisar al modelo si las respuesta que daba eran correctas tanto en redacción como en contenido. Este fue aparentemente de 1.7 trillones de parámetros
El modelo de RLHF fue el prior para desarrollar otros modelos como Llama-3, Claude y Deepseek, este último fue revolucionario por plantear mecanismos en la optimización del modelo dado que fue desarrollado por investigadores chinos sin acceso a poder del cómputo en el estado del arte. Implementaron técnicas de optimización con CUDA y PTX, además de mejorar el caché del modelo
Perame! Me sentí ofendido. Yo soy de 89 y apenas voy a cumplir 37. Del 89 hasta ahora no son más de 40 años! 😒
Muy interesante, ya desde el nombre del modelo GPT (Generative Pre entre ER Transformer). Vale la pena destacar que el concepto de la Inteligencia Artificial es algo que existe desde hace muchísimo tiempo. Cómo caso particular, eí un libro de psicología de los 90, se llama Yo estoy bien tu estás mal, recomendado por cierto, y ya ahí mencionaba conceptos de Inteligencia artificial y redes neuronales, SIN SER UN TEMA DE TECNOLOGÍA. Esto es algo que se ha cocinado a fuego lento mucho tiempo y que ahora llegó el boom gracias a la potencia de cómputo super alta que contamos hoy en día. Interesante pensar que niveles podría alcanzar con el desarrollo de los computadores cuánticos.
¿Por qué es mejor usar perceptrones actualmente?
Durante décadas, la inteligencia artificial sufrió un estancamiento porque el hardware de la época no tenía la capacidad de procesamiento necesaria para manejar múltiples capas de neuronas artificiales. Hoy en día, el panorama es completamente distinto gracias a la evolución de los semiconductores y la disponibilidad masiva de datos. Cuando implementas arquitecturas modernas, estás utilizando los mismos principios matemáticos de los perceptrones clásicos, pero potenciados por el procesamiento en paralelo. Esto significa que en lugar de procesar una operación a la vez, las GPUs actuales pueden calcular millones de pesos sinápticos simultáneamente. Es por esto que algoritmos que teóricamente eran correctos en los años 80, como las Convolutional Neural Networks (CNN), recién pudieron demostrar su verdadero potencial comercial y práctico en la última década. Al construir tus propios modelos, aprovecharás esta base matemática histórica ejecutada sobre infraestructura moderna.
siempre es buena la historia en todo lo que vamos a aprender
