Bienvenida e introducci贸n al curso

1

Iniciando con Big Data

2

Cloud Computing en proyectos de BigData

3

Introducci贸n al manejo de datos en Cloud

4

Datos en Cloud

5

驴Qu茅 nube deber铆a utilizar en mi proyecto de Big Data?

Arquitecturas

6

Arquitecturas Lambda

7

Arquitectura Kappa

8

Arquitectura Batch

Extracci贸n de informaci贸n

9

Llevar tu informaci贸n al cloud

10

Demo - Creando nuestro IDE en la nube con Python - Boto3

11

驴C贸mo usar Boto3?

12

API Gateway

13

Storage Gateway

14

Kinesis Data Streams

15

Configuraci贸n de Kinesis Data Streams

16

Demo - Despegando Kinesis con Cloudformation

17

Kinesis Firehose

18

Demo - Configuraci贸n de Kinesis Firehose

19

Reto - Configurando Kinesis Firehose

20

AWS - MSK

21

Demo - Despliegue de un cl煤ster con MSK

Transformaci贸n de Informaci贸n

22

AWS - Glue

23

Demo - Instalando Apache Zeppelin

24

Creaci贸n del Developer Endpoint

25

Demo - Conectando nuestro developer Endpoint a nuestro Zeppelin Edpoint

26

Demo - Creando nuestro primer ETL - Crawling

27

Demo - Creando nuestro primer ETL - Ejecuci贸n

28

Demo - Creando nuestro primer ETL - Carga

29

AWS - EMR

30

Demo - Desplegando nuestro primer cl煤ster con EMR

31

Demo - Conect谩ndonos a Apache Zeppelin en EMR

32

Demo- Despliegue autom谩tico de EMR con cloudformation

33

AWS - Lambda

34

Ejemplos AWS- Lambda

35

Demo - Creando una lambda para BigData

Carga de Informaci贸n

36

AWS - Athena

37

Demo - Consultando data con Athena

38

AWS - RedShift

39

Demo - Creando nuestro primer cl煤ster de RedShift

40

AWS - Lake Formation

Consumo de informaci贸n

41

AWS - ElasticSearch

42

Demo - Creando nuestro primer cl煤ster de ElasticSearch

43

AWS - Kibana

44

AWS - QuickSight

45

Demo - Visualizando nuestra data con QuickSight

Seguridad, Orquestaci贸n y Automatizaci贸n

46

Seguridad en los Datos

47

AWS Macie

48

Demo - Configurando AWS Macie

49

Apache Airflow

50

Demo - Creando nuestro primer cl煤ster en Cloud Composer

51

Arquitectura de referencia

Clase p煤blica

52

驴Qu茅 es Big Data?

No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Curso de Big Data en AWS

Curso de Big Data en AWS

Carlos Andr茅s Zambrano Barrera

Carlos Andr茅s Zambrano Barrera

AWS - ElasticSearch

41/52
Recursos

Algunas caracter铆sticas importantes de ElasticSearch:

  • Es un motor de b煤squeda basado en Lucene. Busca texto completo y JSON sin esquema.
  • Se despliega en un cl煤ster.
  • Viene integrada con Kibana y Logstash.
  • Se puede integrar con AWS Cognito para manejar la autenticaci贸n de usuarios.
  • Puede recibir informaci贸n de Kinesis Firehose y Lambda.
  • As铆 como en MySQL trabajas con bases de datos, tablas, columnas y filas. Dentro de ElasticSearch utilizas 铆ndices, tipos y documentos con propiedades.
  • Un 铆ndice se puede dividir en m煤ltiples shards que se va a distribuir en diferentes nodos del cl煤ster.

Aportes 10

Preguntas 2

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

Me encantar铆a un curso de Elastic completo!!

AWS ElasticSearch es un motor de b煤squeda basado en Apache Lucene. Busca data estructurada (tipo JSON) y data no estructurada.
Se despliega en un cl煤ster en AWS compuesto de varios nodos, en donde se almacena la informaci贸n, y a trav茅s de un nodo maestro, se realizan las consultas a dicha informaci贸n.
Este servicio viene integrado con Logstash y Kibana.

Caracter铆sticas

  • Autenticaci贸n: Hay diferentes formas de integrar la autenticaci贸n con este servicio. La m谩s recomendada es utilizar AWS Cognito, que es un servicio que maneja Users Pools.
  • Cifrado: Se puede cifrar la informaci贸n en reposo y en tr谩nsito con KMS.
  • Integraci贸n: Puede recibir informaci贸n de Kinesis Firehose y de Lambda. Con Kinesis Firehose se puede alimentar de a un 铆ndice de ElasticSearch, es decir, si se desea alimentar m煤ltiples 铆ndices, se necesitan m煤ltiples Kinesis Firehose.

Conceptos fundamentales

  • 脥ndice: Es como una base de datos que almacena informaci贸n relacional. Es un nombre l贸gico que distribuye la informaci贸n a uno o m谩s shards.
  • Estructura:
    SQL => Databases => Tables => Columns/Rows
    ES => Indices => Types => Documents with Properties
  • Shard: Un 铆ndice se puede dividir en m煤ltiples shards, y 茅stos se almacenan en diferentes nodos. Cuando dimensionemos un cl煤ster de ElasticSearch, es de vital importancia estimar de forma adecuada la cantidad de shards que utilizaremos.

Recomendaciones de AWS

  • Utilizar instancias tipo i, optimizadas en almacenamiento.
  • Mantener un shard en promedio de 50 a 150GB.

Me pregunto si es posible utilizar Elasticsearch para liberar a una base de datos Oracle que tiene muchos procesos de carga en batch y procesos online que la atacan.
Entiendo que los datos insertados en algunas tablas oracle , tambi茅n serian enviados a elasticseach esto permitir铆a la busqueda en el cluster elasticsearch ser铆a r谩pida y descongestionaria el trabajo a la bd oracle.
Es posible hacer algo as铆 ?
Gracias y genial lo de elastic y kibana.

Hola,Qu茅 Conocimientos previos necesito para aprender ElasticSearch?

AWS Elasticsearch es un servicio totalmente administrado y altamente escalable que ofrece una implementaci贸n en la nube del popular motor de b煤squeda y an谩lisis de datos, Elasticsearch. Dise帽ado para facilitar la b煤squeda, an谩lisis y visualizaci贸n de grandes vol煤menes de datos en tiempo real, AWS Elasticsearch es una soluci贸n robusta y vers谩til para diversas aplicaciones empresariales.

Este servicio permite a los usuarios indexar y analizar datos en tiempo real, lo que resulta especialmente valioso para aplicaciones que requieren una alta velocidad de b煤squeda y recuperaci贸n de informaci贸n. Con la capacidad de indexar datos de diversas fuentes, como registros de aplicaciones, flujos de clics web, datos de redes sociales y m谩s, Elasticsearch simplifica el proceso de b煤squeda y an谩lisis de datos no estructurados.

Al ser parte del ecosistema de AWS, Elasticsearch se integra perfectamente con otros servicios de la plataforma, lo que proporciona una amplia gama de opciones para expandir y potenciar sus capacidades. Por ejemplo, es posible utilizar Amazon Kinesis Data Firehose para enviar flujos de datos en tiempo real a Elasticsearch, o combinarlo con AWS Lambda para ejecutar c贸digo personalizado en respuesta a eventos espec铆ficos.

AWS Elasticsearch tambi茅n incluye funciones de seguridad y acceso para proteger los datos y controlar el acceso a las API y las instancias. Puede aplicar pol铆ticas de control de acceso basadas en roles para garantizar que solo los usuarios autorizados puedan interactuar con los datos y las funciones cr铆ticas.

La escalabilidad es una de las principales ventajas de AWS Elasticsearch. Puede adaptarse din谩micamente a las demandas cambiantes, lo que permite aumentar o disminuir la capacidad de almacenamiento y c贸mputo seg煤n sea necesario. Esto se logra a trav茅s de la funci贸n de escalamiento autom谩tico de AWS, que ajusta autom谩ticamente los recursos en funci贸n del rendimiento y la carga de trabajo.

AWS Elasticsearch es una soluci贸n altamente eficiente y f谩cil de usar que facilita la b煤squeda y an谩lisis de grandes vol煤menes de datos en tiempo real. Al aprovechar la escalabilidad y la robustez de AWS, las empresas pueden obtener informaci贸n valiosa y tomar decisiones m谩s informadas, lo que conduce a una ventaja competitiva en el 谩mbito empresarial actual.

Ahora el servicio se llama Amazon OpenSearch

Algunas caracter铆sticas importantes de ElasticSearch:

Es un motor de b煤squeda basado en Lucene. Busca texto completo y JSON sin esquema.
Se despliega en un cl煤ster.
Viene integrada con Kibana y Logstash.
Se puede integrar con AWS Cognito para manejar la autenticaci贸n de usuarios.
Puede recibir informaci贸n de Kinesis Firehose y Lambda.
As铆 como en MySQL trabajas con bases de datos, tablas, columnas y filas. Dentro de ElasticSearch utilizas 铆ndices, tipos y documentos con propiedades.
Un 铆ndice se puede dividir en m煤ltiples shards que se va a distribuir en diferentes nodos del cl煤ster.

bien interesante la funcionalidad de Elastic Search

Algunas caracter铆sticas importantes de ElasticSearch:
鈥 Estructura: MySQL => Databases => Tables => Columns/Rows
o ES => Indices => Types => Documents with Properties
鈥 Shard: Un 铆ndice se puede dividir en m煤ltiples shards y estos se almacenan en diferentes nodos.

Ser铆a interesante tener el documento con las f贸rmulas matem谩ticas para hacer estimar la cantidad de nodos, storages y sharps