Big Data hace referencia al análisis, procesamiento y almacenamiento de grandes y variadas cantidades de datos, que permiten mejorar el valor de tu negocio y tomar mejores decisiones.
En este post aprenderás qué es realmente el Big Data, para qué sirve y sus increíbles aplicaciones tanto en la vida real como en los negocios. También verás cómo funciona, cómo se obtienen los datos, las tecnologías que se usan en el entorno laboral y cómo puedes aprenderlas y ser parte de esto. ¡Empecemos!
Big data es un concepto que se refiere a grandes volúmenes de datos que son muy variados y veloces, al punto de que resulta muy complicado capturarlos y procesarlos con métodos tradicionales. En muchos lugares se refieren a que para que se considere Big Data, los datos deben cumplir con las 5V:
| 5V del Big Data | Definición |
|---|---|
| Volumen | El almacenamiento de la masiva cantidad de datos que pueden ser recolectados de múltiples fuentes como páginas web, social media, IoT, etc. |
| Velocidad | Los datos se generan en tiempo real gracias a las interacciones con las fuentes mencionadas, por lo que deben ser procesados con la misma velocidad. |
| Variedad | Todo tipo de datos, ya sea estructurados o no estructurados. Podrían ser tablas, texto, imágenes, videos, audio, bases de datos, etc. |
| Veracidad | Es la calidad y confiabilidad de los datos. Al llegar de diversas fuentes, se vuelve complejo realizar su limpieza para evitar usar valores incorrectos. |
| Valor | Los datos deben poder proporcionar un valor o beneficio a la empresa que los está usando. |
Así que cuando hay una gran cantidad de datos, estructurados o no estructurados, que están llegando muy rápido, en tiempo real y son muy variados, es imposible analizar toda la informaciónen una sola máquina, por lo que la información se debe partir en pequeñas partes entre varias máquinas. Esto se logra con tecnologías como Hadoop o Spark.
¿A partir de qué tamaño se considera que se está trabajando con Big Data? Esto no está definido, algunas personas del sector mencionan que puede variar entre los 30 Terabytes hasta varios Petabytes. Pero por ahora quédate con el concepto anterior.
Muchas personas y empresas usan este término gracias a que se hizo popular por el marketing. Sin embargo, esto no será necesario para la mayoría de casos de uso, por lo que no se usa Big Data realmente. Es posible hacer analytics o data science sin hacer uso de Big Data, de hecho, es lo más común.
Aún así, si una empresa logra conseguir la suficiente cantidad de datos, puede lograr cosas tan asombrosas (y escalofriantes) como la publicidad en las redes sociales, tanto así que incluso muchas personas creen que los espían por sus micrófonos por lo acertados que son los anuncios que les llegan. Pero todo esto es posible gracias a Big Data.
Si se tiene tanta información que no se puede procesar en una única computadora o servidor, lo que se hace en dividir la información en varios chunks (pedazos más pequeños de información) y enviarlos a muchas máquinas (nodos) más pequeñas.
De esta manera cada nodo queda encargado de resolver solo su parte correspondiente y luego se vuelve a unir la información de todos los nodos y se lanza un solo output (resultado) unificado. Todos estos nodos que están conectados y trabajando de forma paralela son conocidos como un cluster de big data.
Big Data es extremadamente útil, tanto para las empresas como para mejorar la calidad de vida de las personas. De hecho puede dar respuestas a preguntas que ni siquiera se sabía que se tenían. Ayuda a comprender los problemas, darles solución e incluso predecir qué es lo que podría pasar a futuro en varios escenarios alternativos.
La importancia no está en la cantidad de datos, sino en lo que se puede hacer con ellos. Al fusionar Big Data con Data Science se puede llegar a hacer análisis predictivos (así es, se puede predecir el futuro, o al menos su probabilidad), gracias a los patrones de los datos.
Así que todo esto se resume en una serie de beneficios como reducir costos de manera considerable, tomar mejores decisiones basados en datos en tiempo real, aumentar las ganancias, reducir tiempos, dar servicios personalizados, encontrar áreas de oportunidad (por ejemplo nuevos productos o servicios) y un largo etcétera.
Existe una infinidad de campos de aplicación de Big Data. Si bien lo más común es aplicarlo para beneficios de una empresa, también tiene varias aplicaciones en el mundo real con cosas asombrosas como bajar la criminalidad de una ciudad. Por ahora veamos cómo tu empresa se puede beneficiar del uso de Big Data:
Empecemos con la magia. En el mundo digital se puede registrar y procesar toda la información en tiempo real. Así que a partir de la información de los usuarios, se puede mostrar ofertas personalizadas para grupos de usuarios con comportamientos comunes. De ahí que aparezcan cosas como esta. Mismo partido, diferente publicidad:
Analíticas de comportamiento de usuarios para crear/mejorar/modificar las funcionalidades de una plataforma acorde a lo que haga el usuario (si has trabajado con Facebook Ads, eres testigo de cómo Facebook hace miles de cambios a cada rato en sus plataformas que varían incluso de país a país).
Una aplicación muy interesante es para evitar el fraude en cosas como suplantación de identidad o la clonación de tarjetas. Por ejemplo Riskified es una empresa que se encarga de prevenir el fraude en varios e-commerce muy grandes.
Un campo bastante estudiado es la minería de texto para el procesamiento de lenguaje natural (NLP). Y a partir de ahí hay una infinidad de aplicaciones como por ejemplo el análisis de sentimientos en marketing o la clasificación automática de problemas en el departamento de soporte al cliente, y que cada queja llegue al sub-equipo correspondiente.
Calcular el potencial comercial de distintas zonas geográficas para abrir nuevas tiendas sucursales sin afectar las ventas de las otras. También funciona para lo contrario y saber cuándo se debe cerrar una tienda. La mayoría de cadenas multinacionales escogen su ubicación de esta manera.
En la banca se hace muchos análisis de riesgo para saber qué clientes se puede admitir o rechazar, qué créditos se puede aprobar o no, e incluso el análisis de la cartera de los clientes para constantemente estar analizando lo mencionado en caso de que algo cambie en su historial crediticio.
En un call center podría ayudar a saber a qué clientes llamar, en qué horarios y qué tipo de promociones hacerles.
Con Big Data se puede fácilmente hacer una segmentación de cliente muy precisa para luego calcular su LTV, enviarle campañas personalizadas, fidelizarlo y evitar que abandone la empresa.
También es posible identificar problemas antes de que sucedan y tomar acciones para que tengan una solución antes de que siquiera existan.
Eventualmente tendremos ciudades inteligentes, podremos predecir muchos desastres naturales y estar preparados antes de que ocurran, tendremos una mejor optimización del tráfico e incluso será posible prevenir enfermedades ligadas a nuestros genes en específico. Estos son algunos ejemplos de los casos de uso actuales de Big Data para mejorar la calidad de vida de las personas:
Ahora que conoces todo lo que podrías hacer con Big Data, es hora de conocer de dónde llegan los datos y qué debes aprender para empezar trabajar con Big Data.
Los datos se generan de casi todas partes. Especialmente si se está en internet, en donde es posible capturar cada clic dado (y cada clic no dado), así como todos los textos generados. De ahí que haya información estructurada y no estructurada.
Por otro lado, IoT (Internet of Things) es una gran fuente de obtención de datos. Últimamente casi todos los productos de uso diario, como autos, relojes, refrigeradoras, asistentes de voz, cámaras, etc., se pueden conectar a internet. Así que se puede generar datos de cada persona en tiempo real.
Por ejemplo, Nike tiene una línea de productos que monitorean los datos que se generan al hacer ejercicio. Apple hace algo muy parecido con el Apple Watch.
Hay varias tecnologías que han sido creadas para realizar el procesamiento de toda esta información aplicando los conceptos vistos anteriormente. Los 2 grandes frameworks de Big Data que fueron creados para dar solución al problema son Hadoop y Spark. En un principio Spark solucionó varios problemas que tenía Hadoop (por ejemplo cargar los datos en memoria en vez del disco), pero eventualmente Hadoop creó un ecosistema para solventar todo con el apoyo de otras tecnologías:
¡Por supuesto que sí! Acá te dejo la lista de cursos para que te conviertas un experto o experta en Big Data, e incluso puedes encontrar rutas de cursos para especializarte en Data Analytics:
Pero recuerda, Big Data funciona cuando hay una mezcla de tecnologías como Ciencia de Datos, Cloud, IoT, etc. Es todo un mundo apasionante que dictará cómo estará construido el futuro. Y la mejor parte de esto es que estás justo a tiempo para aprenderlo y ser parte de la construcción de este futuro. Puedes empezar ya mismo con la Escuela de Data Science de Platzi. ¡Nunca pares de Aprender! 💚
Wow, realmente es un mundo en el que podemos ver involucradas muchísimas ramas, prácticamente toda nuestra vida se moverá en torno a esta ciencia en poco tiempo (y ya empieza a suceder).
Excelente! ya estaba estudiando ciencia de datos, pero realmente cuanto mas aprendo mas quiero sumergirme en este mundo… de chico queria ser fisico, y ahora estoy convencido de que la ciencia es lo mio, pero va a ser la ciencia de los datos
Hola 😃
Me pasó algo muy parecido a ti. Quería estudiar física, pero como no había en mi ciudad, seguí una ingeniería. Pero a partir de que descubrí la ciencia de datos, me he adentrado mucho en esta rama 💚
Que buen post, completo e interesante
Excelente artículo profesor. Gracias por compartir
Great! Ingresé a la escuela de Data Sciense hace varias semanas y ya voy por el cuarto curso de esta. Ah por todo, y sobre todo nunca parando de aprender!
Genial este articulo sobre Big Data
interesante post, muy completo. fue de mucha utilidad!
ME parece impresionante, estoy tomando los cursos, y solo estoy esperando como poder usarlo y aplicarlo. Me sorprendió el de IBM, la duda es funciono empezó por ahi del 2017.
sumanente interesante creo que eso es el futuro
Esto es super interesante, el caso de la diferente publicidad en el mismo sitio me volo la cabeza, yo estudie marketing digital y se correlaciona de una manera increible a esto
Hola 😄
Especialmente en marketing se aplica de muchísimas maneras. Así funcionan las grandes plataformas de publicidad y por ello es que es posible hacer tantas cosas como la microsegmentación, todas las clases de remarketing, lookalikes (especialmente esto), etc. Es muy divertido estar en marketing y aprender a fondo de Analytics y lo básico de Data Science
algún articulo relacionado a la publicidad diferente en un mismo partido?
Buen post, ¿Tienes ejemplos puntuales acerca de la aplicación de BD en el contexto actual de la pandemia?
IN CRE I BLE ¡¡¡¡
Cada step que hago me quedo mas boquiabierto con la influencia a corto y largo plazo de la información que generamos, y con una sensación un tanto pesimista de ese futuro distócico, deseo aprender para aportar mi granito de arena en NUESTRO futuro.
Muy chévere y completa la documentación, tanto que relacionan un tema y lo redireccionan a otro curso que entrega una ampliación y profundidad. He estado apuntando muchos de estos detalles y manteniéndome en un solo hilo de educación
Estoy muy interesada sobre todo en las aplicaciones que son para codificar el ADN y poder tomar ventaja de atributos de algunas especies. Muchas gracias el post fué muy ilustrativo.
muchas gracias por tu gran aporte !
Muy buen post, excelente redacción, me enganche totalmente con esto del Big Data, este son el tipo de cosas que me gustaría realizar, usar la tecnología para lograr un impacto en la sociedad.
Excelente articulo, Anthony.
Realmente las aplicaciones son bastantes y la verdad es que no me imagino alguna industria en la que no se pueda aplicar.
En mi caso soy ingeniero ambiental, me he dedicado a proyectos de monitorio de impactos ambientales y creo que hay más de una manera en la que se puede aplicar.
Estoy muy sorprendido y feliz de continuar aprendiendo, en verdad es un mundo enorme y facinante!
A mi me parece realmente interesante y genial como es que a ido avanzando todo, me fascina saber sobre lo nuevo en tecnología, big data y iot ya no son un futuro, son nuestro presente.
Hoy aprendí mucho sobre la obtención de datos en nuestras rutinas diarias y quedé asombrado. Gracias por la información profesor.
Muy interesante el post, gracias por poner las cosas tan claras. De alguna manera pues hace caer en un mayor interés en esta rama tech.
¡Genial! Muy completo el post, recién estoy empezando en la escuela de Ciencia de Datos y no puedo parar de estudiar, es un mundo espectacular.
Excelente artículo un campo bastante amplio
Muy interesante y oertinente articulo.
Gran artículo Anthony! El balance de la cantidad del contenido y la forma en la que cuentas la historia.
Muy completo, buena lectura.