Lenguajes Procedurales en PostgreSQL: PL/pgSQL y Extensiones Python

Curso de PostgreSQL Aplicado a Ciencia de Datos

Contenido del curso

Introdución a las Bases de Datos

Ciencia de Datos

Particularidades de PostgreSQL

Casos Prácticos

Platzi movies dashboard

Siguientes pasos

Tomar examen

Como la mayoría de las bases de datos, PostgreSQL cuenta con conectores para diferentes lenguajes de programación, de tal forma que si trabajas con Python, PHP, Java, JavaScript y todos sus frameworks, exista una forma de extraer datos de PostgreSQL y posteriormente utilizar las propiedades de los lenguajes procedurales para transformar y utilizar los datos.

El lenguaje estándar utilizado en bases de datos relacionales es SQL (Structured Query Language), un lenguaje que tiene una estructura sumamente útil para hacer solicitudes de datos, en especial tomando como abstracción un diseño tabular de datos. Sin embargo, carece de estructuras de control y otras abstracciones que hacen poderosos a los lenguajes procedurales de programación.

PL/pgSQL

Como respuesta a los puntos débiles de SQL como estándar, PostgreSQL respondió originalmente creando un lenguaje propio llamado PL/pgSQL (Procedural Language/PostgreSQL Structured Query Language) que es literalmente un superset de SQL que incluye propiedades de un lenguaje estructurado que, por un lado, nos permite crear funciones complejas y triggers; y, por el otro lado, agrega estructuras de control, cursores, manejo de errores, etc.

Otros lenguajes

Sin embargo, en muchos sentidos, aunque PL/pgSQL ayuda en los casos más genéricos para generar estructuras y funcionalidades más complejas, no se compara con lenguajes completamente independientes y no ligados directamente a una base de datos.

La respuesta sin embargo tampoco es los conectores normales que, si bien resuelven la parte de un lenguaje más complejo, añaden por otro lado una separación de la base de datos, ya que debe correr en un servidor separado y hacer llamadas entre ellos con la latencia como un colateral.

Para mitigar estos problemas tomando lo mejor de ambos mundos, los desarrolladores de PostgreSQL se dedicaron a hacer implementaciones de diversos lenguajes a manera de plugin.

La biblioteca que permite al lenguaje C ejecutarse en PostgreSQL es llamada libpq y es una interfaz de programación que permite extender y hacer de interfaz para permitir a otros lenguajes ejecutarse en esta base de datos.

Puedes encontrar más información de esta interfaz en el siguiente link:

https://www.postgresql.org/docs/11/libpq.html.

PL/Tcl

Tcl (Tool Command Language) es un lenguaje diseñado con la simpleza en mente y su paradigma consiste en que todo en él es un comando, incluyendo la estructura del lenguaje que, sin embargo, son suficientemente flexibles para poderse sobreescribir, haciéndolo un lenguaje sumamente extensible.

Todo lo anterior es ideal para la integración con el manejador de PostgreSQL ya que permite elaborar comandos para ejecutar las sentencias SQL y extenderlas facilmente.

Si quieres leer más del tema, puedes hacerlo en el siguiente link:

https://www.postgresql.org/docs/11/pltcl.html.

PL/Perl

Perl es un lenguaje de programación que implementa una estructura de bloques de código y que toma inspiración de programas como C, sh, AWK, entre otros. Y es especialmente bueno para el tratamiento de cadenas de texto. Sin embargo, no se encuentra limitado como un lenguaje de script.

Dada la propiedad de englobar funcionalidad en forma de bloque y de la rapidez y facilidad con la que trabaja con datos tipo cadena, este lenguaje es ideal para el tratamiento de información de una base de datos relacional.

Para conocer más de la implementación de este lenguaje con PostgreSQL puedes leer el siguiente link:

https://www.postgresql.org/docs/11/plperl.html.

PL/Python

Python, al ser de los lenguajes de programación más extendidos entre programadores de servicios Backend, es una implementación particularmente interesante para PostgreSQL.

Python es un lenguaje de programación fuerte en tratamiento de estructura de datos y tiene un paradigma múltiple con fuertes componentes orientados a objetos, estructurados y una fuerte influencia del paradigma funcional.

Parte de sus fortalezas son sus implementaciones de funciones map, reduce y filter en conjunto con list comprehensions, sets, diccionarios y generadores.

Dadas las propiedades nativas para manejar estructuras de datos complejas, es un lenguaje ideal para manejar la salida de un query SQL.

La implementación de Python para PostgreSQL te permite crear funciones complejas en un lenguaje completo y popular sin tener que utilizar PL/pgSQL. Puedes ver un ejemplo a continuación de la misma función en PL/pgSQL y PL/Python.

PL/pgSQL

CREATE FUNCTION pgmax (a integer, b integer)
RETURNS integer
AS $$
BEGIN
   IF a > b THEN
       RETURN a;
   ELSE
       RETURN b;
   END IF;
END
$$ LANGUAGE plpgsql;

PL/Python

CREATE FUNCTION pymax (a integer, b integer)
RETURNS integer
AS $$
   if a > b:
       return a
   return b
$$ LANGUAGE plpythonu;
 
CREATE EXTENSION plpythonu;
SELECT pgmax(200,9);

Para instalar el lenguaje Python en PostgreSQL, una vez instaladas las bibliotecas apropiadas para cada Sistema Operativo, es necesario ejecutar el siguiente query:

CREATE EXTENSION plpythonu

Si quieres profundizar más en esta implementación puedes encontrar más información aquí:

https://www.postgresql.org/docs/11/plpython.html.

Lenguajes Procedurales en PostgreSQL: PL/pgSQL y Extensiones Python

Alfonso Andres Zapata Guzman

Estudiante

Llegue con la soluciona para casi todos los comentarios que no pudieron ejecutar el PL/Python, lo logre con un dockerfile:

archivo dockerfile

FROM postgres:13

RUN apt-get update && apt-get install -y postgresql-plpython3-13

archivo docker-compose.yml

version: '3.9'

services:
  db:
    build: .
    container_name: postgres
    restart: always
    #1)Que es la imagen en docker? Bueno, en este caso, estariamos obteniendo de manera PUBLICA la IMAGEN es decir... LA APLICACION postgres!
    #env_file:
    #  - .env
    environment:
      - POSTGRES_DB=${POSTGRES_DB}
      - POSTGRES_USER=${POSTGRES_USER}
      - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
    ports:
      - 5432:5432
      #5) Aca es donde conecto mi servidor con mis datos, ent este caso como es local, es decir, no conecto con un servidor en la nube, tan solo uno miData:conElServidorQueConectare  En este caso ambos son 5432, ya que estoy conectando mi data a mi propio servidor local de mi pc, nignnuno de la nube 
    volumes:
    #5) El volumes nos sirve para crear persistencia, es decir, "Todo lo que yo tenga en mi contendor, quiero almacenarlo YO en un archivo para mayor seguridad".
      - /postgres-data:/var/lib/postgresql/data
      #6) El ./postgres_data significa que justamtene el archivo que se creara para que se guarde la data esta en la carpeta ./postgres_data, (a su vez debe ser privadad, asi que no la subas a github) Mientras que por otro lado tenemos el /var/lib/postgresql/data, que hace esta ruta? Bueno simplemente hay que entender que esta ruta conecta con la base de datos, es decir, los datos estan guardados en esta ruta en postgresql... POR LO TANTO NOSOTROS PARA CREAR PERSISTENCIA ABSROBEMOS LA DATA DE VAR/LIB/POSTGRESQLETC Y LA LLEVAMOS A POSTGRES_DATA. SABIENDO QUE NO DEBE IR A GITHUB.

      #7) Es importante saber que la ruta /var/lib/postgresql/data es de donde obtenemos la imagen. Pero esta ruta puede variar por cuestion de la empresa queu crea la db y demas, entonces la manera de siempre tener esta ruta lista para absorber la imagen es consultando la documentacion de hub.docker.com
  pgadmin:
    image: dpage/pgadmin4
    environment:
      - PGADMIN_DEFAULT_EMAIL=root@mail.com
      - PGADMIN_DEFAULT_PASSWORD=04145893431
    ports:
      - 5050:80
  #Metabase para visualizaciones
  dataviz:
    image: metabase/metabase
    container_name: metabase
    restart: always
    environment:
      - MB_DB_TYPE=postgres
      - MB_DB_DBNAME=${POSTGRES_DB}
      - MB_DB_PORT=5432
      - MB_DB_USER=${POSTGRES_USER}
      - MB_DB_PASS=${POSTGRES_PASSWORD}
      - MB_DB_HOST=db
      - MB_DB_FILE=/metabase-data/metabase.db
    depends_on:
      - db
    volumes:
      - dataviz_data:/metabase-data
    ports:
      - 3000:3000
volumes:
  postgres_data: {}
  db_data:
  dataviz_data:

archivo .env

# Postgres
POSTGRES_DB=my_db
POSTGRES_USER=root
#modificar la password o estos datos con los suyos
POSTGRES_PASSWORD=mypassword

Correr:

docker-compose up -d postgres

DE NADA...

Alfonso Andres Zapata Guzman

Estudiante

CREATE EXTENSION plpython3u;

CREATE FUNCTION pymax (a integer, b integer)
RETURNS integer
AS $$
   if a > b:
       return a
   return b
$$ LANGUAGE plpython3u;

SELECT pymax(200,9);

Luis Fernando Zarazua Aguilar

Julián Cárdenas

Andres Fidel Castro Lares

Christopher Castro

Angel Vega

Rafael Rivera

Camilo Granda Gómez

Leonardo Peña

Vladimir Gutierrez

Cesar Augusto Herrera Rosales

Juan David Morales

Luis Guzmán

Mauro Benito Montoya Arenas

fidel angel ochoa

Elias Ojeda Medina

Juan Ventrone

Camilo Duque

Jose Reinaldo Roca Cruz

Jordan Sobrino Santos

Sergio Armando Serrano Becerra

JAVIER SANTIAGO SALGADO

Alvaro Max Landeros Hernandez

Christopher Oneal Panana Nolasco

Francisco Garcia [C6]

Carlos José Flores Henríquez

•

Jesús Rafael Hernández Montero

Lenguajes Procedurales en PostgreSQL: PL/pgSQL y Extensiones Python

Introdución a las Bases de Datos

Aplicación de PostgreSQL en Ciencia de Datos

Importación de Bases de Datos en PgAdmin 4

Historia y Evolución de las Bases de Datos Relacionales

Fundamentos de Bases de Datos Relacionales para Científicos de Datos

Conceptos Fundamentales de Bases de Datos Relacionales

Sentencias SQL: Select, Where, Group By y Order By

Ciencia de Datos

Rol y Funciones del Científico de Datos en Empresas

Responsabilidades del Científico de Datos en la Toma de Decisiones

Roles y Perfiles en Equipos de Ciencia de Datos

Diferencias y similitudes entre Machine Learning y Data Science

Particularidades de PostgreSQL

Diferencias entre PostgreSQL y otros gestores de bases de datos

Fundamentos de la Programación en Python

Procedimientos y Funciones en PostgreSQL: Creación y Uso

Creación y uso de funciones y triggers en bases de datos SQL

Funciones SQL para Ciencia de Datos: Consultas y Reportes Prácticos