Definición de Nodos Abstractos para Árbol de Sintaxis (AST) en Python

Curso de Creación de Lenguajes de Programación: Intérpretes

Contenido del curso

Introducción al desarrollo de intérpretes y lenguajes de programación

Construcción del lexer o tokenizador

Construcción del parser o analizador sintáctico

Evaluación o análisis semántico

Mejora del intérprete

Siguientes pasos

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:009:14

Definición de Nodos Abstractos para Árbol de Sintaxis (AST) en Python

Curso de Creación de Lenguajes de Programación: Intérpretes

Clase 13 de 58

Clase 13 / 58

Recursos

¿Cómo definir los primeros nodos de un AST?

Comprender la estructura de los nodos en un AST (Árbol de Sintaxis Abstracta) es crucial para entender la programación que subyace en el análisis de un lenguaje de programación. Al comenzar a trabajar en un AST, es necesario definir estos nodos de forma abstracta, lo que permitirá que otros nodos más específicos se deriven de ellos. Exploraremos los principios básicos para crear nodos en un AST usando Python, enfocándonos en la distinción entre statements y expressions.

¿Qué son los statements y las expressions?

Primero, es fundamental comprender la diferencia entre statements y expressions:

Statements: Son instrucciones completas que conforman un programa. Pueden no devolver un valor. Un ejemplo de un statement es una declaración de variable.
Expressions: Estas devuelven un valor, lo cual es una de sus principales características. En otras palabras, una expresión es cualquier fragmento de código que termina generando o filtrando un valor final.

Consideremos un pequeño programa que declare tres variables:

variable x es igual a 5
variable y es igual a 10
variable resultado es igual a suma de x más y

En este programa, cada línea representa un statement.

¿Qué es un nodo en un AST?

En el contexto del AST, los nodos representan estructuras sintácticas que se utilizan para modelar aspectos del programa. Los nodos pueden ser de diferentes tipos, y en programación orientada a objetos, suelen tener una jerarquía. En Python, podemos usar clases abstractas para definir comportamientos comunes que deben ser implementados por todas las subclases.

¿Cómo implementar nodos en Python?

La implementación comienza con la creación de una clase abstracta, a partir de la cual derivarán las clases de nodos. Aquí se usa la clase ABC de Python y el decorador @abstractmethod:

from abc import ABC, abstractmethod

class ASTNode(ABC):
    @abstractmethod
    def token_literal(self):
        pass
    
    @abstractmethod
    def __str__(self):
        pass

ASTNode define dos métodos abstractos que todas las subclases deben implementar: token_literal y __str__. Estos métodos ayudan, entre otras cosas, a hacer debugging y representar el nodo como una cadena.

¿Cómo implementar los tipos statement y expression?

Los statements y expressions son específicos tipos de nodos en un AST. Siguen teniendo sólo un toque abstracto ya que nunca se inicializarán directamente:

class Statement(ASTNode):
    def __init__(self, token):
        self.token = token
    
    def token_literal(self):
        return self.token.literal

class Expression(ASTNode):
    def __init__(self, token):
        self.token = token
    
    def token_literal(self):
        return self.token.literal

Ambos extienden ASTNode y comparten similitudes en su implementación, particularmente en la función token_literal. Estas clases sirven para construir una base para que otros nodos más específicos dentro del AST hereden y expandan su funcionalidad.

Cómo iniciar el desarrollo del programa

Ahora, estamos listos para crear un archivo llamado AST.py en el que guardaremos las definiciones de los nodos del AST. Este archivo se convertirá en la piedra angular de las estructuras sintácticas en nuestro programa. Cada definición del nodo se diseñará para manejar operaciones específicas, como declaraciones let o condicionales en un lenguaje de programación.

Con esta base sólida, podemos proceder a crear nodos específicos como el nodo de program, pero eso será explorado más adelante. Al establecer una jerarquía clara de nodos, podemos manejar de manera efectiva la complejidad de cualquier programa al representarlo de forma abstracta y perspicaz.

Aprender sobre AST y su implementación práctica en Python es un viaje que requiere una profunda comprensión del diseño de software, pero con cada paso avanzas en un fascinante camino de aprendizaje. ¡Sigue explorando y desarrollando tus habilidades!

Andres Gordon

Hace 4 años

Que son expressions, statements y definitions? Porque no lo se :smile:

Expression:

Una entidad sintactica; es decir una serie de tokens que tienen sentido para el lenguaje que estamos desarrollando, que sera evaluado para determinar su valor; algo como 1 + 2 se evalua como 3, pero también la evaluación podria no terminar, dejando a la expression sin un valor definido, como en 1 / 0 donde evaluar la expression no genera ningun valor.

Statement:

Un comando que altera el estado de la maquina; estado de la maquina no lo entiendo todavía pero mas o menos le entiendo como si el programa fuera una puerta que puede estar en dos estados, abierta o cerrada, y un statement cambia de manera explicita del estado en el que se encuentre la puerta/programa.

Declaration:

Otra entidad sintactica como las expressions pero lo que hace es crear otro identificador en el programa, como el nombre de una variable, algo así variable nombre;

Links referencias

Estado de la maquina: Wikipedia contributors. (2022, November 23). Finite-state machine. In Wikipedia, The Free Encyclopedia. Retrieved 04:47, November 25, 2022, from https://en.wikipedia.org/w/index.php?title=Finite-state_machine&oldid=1123320568
Expression, statement y declaration definiciones: Mitchell, J. (2002). Concepts in Programming Languages. Cambridge: Cambridge University Press, 3.4.1 Statements and Expressions, p. 26

Introducción al desarrollo de intérpretes y lenguajes de programación

Construcción de Intérpretes de Software en Python 3.8

Creación de Compiladores e Intérpretes con Lenguaje Platzi

Construcción del lexer o tokenizador

Análisis Léxico: Construcción de un Léxer para Intérpretes

Definición de Tokens en Lenguaje de Programación Platzi

Desarrollo de un Lexer con Test-Driven Development

Pruebas de Operadores, Delimitadores y Fin de Archivo en Lexer Python

Lexer: Identificación de Keywords y Tokens Complejos

Reconocimiento de Funciones en Lexer de Lenguaje de Programación

Implementación de Operadores y Condicionales en Lexer de Platzi

Implementación de Operadores de Dos Caracteres en Lexer

Creación de un REPL en Python para Lenguaje de Programación

Construcción del parser o analizador sintáctico

Construcción de un Parser para el Lenguaje Platzi

Definición de Nodos Abstractos para Árbol de Sintaxis (AST) en Python

Desarrollo de un AST en Python: Creación de la Clase Programa

Parseo de Let Statements en Lenguaje Platzi

Implementación de funciones advanced y expected tokens

Manejo de Errores en Parsers con Test Driven Development

Parseo de Return Statements en Lenguaje Platzi

Técnicas de Parsing: Top-Down y Bottom-Up

Pruebas de AST para Let y Return Statements en Parsers

Pratt Parsing: Implementación y Registro de Funciones en Python

Parseo de Identificadores en Lenguajes de Programación

Parseo de Expression Statements en Platzi Parser

Parseo de Enteros en Lenguaje Platzi

Implementación de Operadores Prefijo en Parsers

Operadores InFix en Expresiones: Implementación y Pruebas

Implementación de Operadores InFix en un Parser

Expresiones Booleanas en el Lenguaje de Programación Platzi

Evaluación de Precedencia y Testeo de Booleanos en Parsers

Evaluación de Expresiones Agrupadas en un Parser

Parseo de Condicionales en Lenguaje Platzi

Implementación de Condicionales en Parser de Lenguaje

Parsing de Funciones en Lenguaje Platzi: Creación de Nodos AST

Construcción de nodos de función en un parser AST

Llamadas a Funciones en Lenguajes de Programación

Implementación de llamadas a funciones en un parser con AST

Parseo de Expresiones en LET y RETURN Statements

Implementación de REPL para Árbol de Sintaxis Abstracta

Evaluación o análisis semántico

Evaluación Semántica en Lenguajes de Programación

Estrategias de Evaluación en Lenguajes de Programación

Representación de Nodos AST y Objetos en Python

Evaluación de Expresiones en JavaScript y Python

Implementación del Patrón Singleton para Booleanos y Nulos

Evaluación de Prefijos en Lenguaje de Programación Platzi

Evaluación de Expresiones Infix en Lenguaje Platzi

Evaluación de Condicionales en Lenguaje de Programación Platzi

Evaluación y Uso del Return Statement en Programación

Manejo de Errores Semánticos en Lenguaje Platzi

Declaración y Gestión de Variables en Lenguajes de Programación

Manejo de Ambientes y Variables en Lenguajes de Programación

Declaración de Funciones en Lenguaje de Programación Platzi

Implementación de Llamadas a Funciones en PlatziLang

Mejora del intérprete

Implementación de Strings en un Intérprete de Lenguaje de Programación

Operaciones de Concatenación y Comparación de Strings en Intérprete

Implementación de Funciones Built-in en Python

Implementación de Built-ins en el Lenguaje Platzi

Siguientes pasos

Desarrollo de Lenguaje de Programación y Estructuras de Datos en Python

Construcción de un Intérprete en Python desde Cero

Definición de Nodos Abstractos para Árbol de Sintaxis (AST) en Python