Framework de ciencia de datos: herramientas para machine learning

The data science process

About feature engineering

Feature engineering is extracting relevant information from data regarding to the field it belongs.

I recommend you reading this book: https://www.repath.in/gallery/feature_engineering_for_machine_learning.pdf

I think if you wanna do a course in english, do completly in english and no the video in spanish and the speaker in english.

Data science framework

Terminología:

Data/Datos: unidades de información o “hechos” de observaciones.
Features: tipos de información acerca de tus observaciones.
Filas: observaciones individuales o muestras.
Columnas: features que describen tus observaciones.
Outlier: punto(s) de datos o data point(s) que se comporta de forma extraña.
Pre-processing: preparar datos para su uso en un modelo de machine learning.
ETL pipeline: framework de data science para extraer, transformar y cargar.
un dataset comúnmente viene en forma de tabla y tienen 2 componentes:
fila: es un registro, un datapoint. ejemplo: datos de un paciente en un hopital, datos de una cuenta de banco de un cliente. comúnmente tienen un ID asignado.
columna: es una característica de la información, cada columna tiene un nombre. En ML supervisado siempre tendremos una columna target (output), que muestra la variable a predecir. y las demás columnas nos servirán como input para poder predecir. ejemplo: input= nivel de azúcar en sangre, presión arterial. output = paciente con o sin diabetes.

Tipos de datos

Numéricos: su feature es un número de tipo entero o flotante.
Categórica: sus features representan una clase o tipo; usualmente se representan como un mapeo de números o un “one-hot” vector.
Image: su feature representa una imagen.
Texto: su feature es en la forma de texto, sea corto (como Twitter) o largo (como en noticias).
NaN: su feature es desconocido o perdido.
Convertir datos categóricos en etiquetas
los modelos de ML no pueden manejar strings(palabras) solo entienden números, así que si queremos suministrar una variable categórica a un modelo, primero debemos

transformarla a número.

podríamos asignar un id a cada categoria y listo pero los modelos no manejan bien las relaciones de los datos en esta forma de código, la forma mas optima de hacer esta conversión es mediante 1-hot encoding el cual asigna a cada categoría un vector que se diferencia de los demás por la posición de un 1 en el vector, ejemplo:
“SI” > (1,0,0)
“NO” > (0,1,0)
“talvez” > (0,0,1)

Pandas

esta librería es la ideal para cargar y entender tus datos. los comandos mas basicos son:
pd.read_csv(): Leer un archivo CSV
df.head(): Muestra las primeras 5 filas
df.dtypes: Muestra el tipo de representación de los datos (float, int, object)

Visualizando tus datos

los gráficos más famosos para analizar tus datos son:
Histogramas: Te dice qué tan “frecuentes” y distribuidos son ciertos valores en tus datos.
Gráficas de dispersión: Muestra la relación entre 2 features graficándolos como pares ordenados. Te puede ayudar a detectar anomalías.

Pandas realmente es Amor a primer código. Es una verdadera seda para los dedos junto con Seaborn.

these classes is a basic example of how to study in london, usa, canada, australia,

I think this lesson should be two, one for explain data and the other related to Pandas, there is not a trouble about that, but I think is not correct to teach a practical lesson as a theoretical lesson 😦

CSV : Comma Separeted Value File (Archivo separado por comas)

I consider necesary to implementing a model to practice in this education videos, but is good, i can understand the concepts because in the last time, i was learn in my college. Greatings.

EXCELENTE INGLES !!!