Parseo de Expression Statements en Platzi Parser

Curso de Creación de Lenguajes de Programación: Intérpretes

Contenido del curso

Introducción al desarrollo de intérpretes y lenguajes de programación

Construcción del lexer o tokenizador

Construcción del parser o analizador sintáctico

Evaluación o análisis semántico

Mejora del intérprete

Siguientes pasos

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0016:33

Parseo de Expression Statements en Platzi Parser

Curso de Creación de Lenguajes de Programación: Intérpretes

Clase 23 de 58

Clase 23 / 58

Recursos

Construir un parser capaz de reconocer expresiones es uno de los pasos más importantes al desarrollar un intérprete. Aquí se aborda cómo enseñarle al parser a reconocer expression statements e identificadores, conectando tokens con funciones específicas mediante la técnica conocida como Pratt Parser. Si ya sabes parsear let statements y return statements, este es el siguiente paso natural para que tu intérprete cobre vida.

¿Qué es un expression statement y cómo se parsea?

Dentro del lenguaje de programación que se está construyendo, toda instrucción es una de tres cosas: un let statement (declaración de variable), un return statement (retorno de valor) o un expression statement [01:00]. No hay otra opción. Cuando el parser encuentra algo que no es let ni return, automáticamente intenta parsearlo como un expression statement.

Para implementarlo, se modifica la función parse_statement. Donde antes se regresaba None cuando no se encontraba ni let ni return, ahora se llama a una nueva función: parse_expression_statement [01:12].

La función parse_expression_statement sigue estos pasos:

Verifica que el current_token no sea None (programación defensiva).
Crea una nueva instancia de ExpressionStatement pasándole el token actual.
Llama a parse_expression con la precedencia más baja.
Si el siguiente token es un punto y coma (semicolon), avanza al siguiente token con advance_tokens.
Regresa el expression statement construido.

La verificación de que current_token no sea None es fundamental. Si se omite, herramientas como mypy señalarán un error porque el parámetro token no acepta valores opcionales [02:28]. Esto es programación defensiva: trabajar con tipos garantiza que el programa sea correcto y falle de forma controlada si algo inesperado ocurre.

¿Cómo funcionan las precedencias en un intérprete?

La precedencia determina el orden en que se evalúan las operaciones. Se implementa como un IntEnum importado del módulo enum de Python [03:42]. A diferencia de un Enum regular donde se usa auto(), aquí el valor numérico importa porque define qué operación se ejecuta primero.

Las precedencias, de menor a mayor, son:

Lowest (1): la precedencia más baja.
Equals: comparaciones de igualdad.
Less greater: comparaciones de menor o mayor.
Sum: operaciones de suma.
Product: multiplicación y división.
Prefix: operadores como el signo menos o not.
Call: llamadas a función, que tienen la precedencia más alta [04:40].

Este orden sigue la lógica matemática que puedes recordar con el acrónimo PEMDAS [03:20]. Por ejemplo, en 5 * 5 + 5, primero se ejecuta la multiplicación porque product tiene mayor precedencia que sum.

¿Cómo se registra y parsea un identificador en el Pratt Parser?

La función parse_expression recibe una precedencia y regresa opcionalmente una expresión [05:18]. Su lógica central consiste en buscar dentro del diccionario prefix_parse_functions una función asociada al token_type del token actual. Si no encuentra una función registrada, captura un KeyError y regresa None.

Para que el parser reconozca identificadores, se registra la función parse_identifier dentro de register_prefix_functions [07:05]:

python self._prefix_parse_functions[TokenType.IDENTIFIER] = self.parse_identifier

Nótese que no se hace la llamada a la función (sin paréntesis); solo se pasa una referencia. La función parse_identifier es extremadamente sencilla [07:22]:

python def parse_identifier(self) -> Identifier: assert self._current_token is not None return Identifier( token=self._current_token, value=self._current_token.literal )

Simplemente toma el token actual y usa su literal como valor del identificador.

¿Por qué refactorizar parse let statement?

Una vez que existe parse_identifier, tiene sentido usarla también dentro de parse_let_statement [08:20]. Antes, esa función construía el identificador manualmente. Ahora se reemplaza por una llamada a parse_identifier, logrando consistencia y un solo punto de fallo. Los tests confirman que el refactoring no rompió nada.

¿Qué hace especial al Pratt Parser?

El Pratt Parser se distingue porque liga tokens a funciones [09:00]. Cada tipo de token tiene asociada una función que sabe cómo parsearlo. Toda la infraestructura ya está lista: para parsear enteros, booleanos u otras expresiones en el futuro, solo hay que definir la función correspondiente y registrarla en el diccionario. Este patrón hace que el parser sea extensible y elegante.

El enfoque de test driven development también demuestra su valor aquí: al refactorizar, los tests existentes verifican de inmediato que todo sigue funcionando correctamente [09:15]. Si parse_identifier fallara en algún contexto, la suite de tests lo detectaría al instante.

Si estás construyendo tu propio intérprete, recuerda leer el código de arriba hacia abajo, de izquierda a derecha, siguiendo cómo cada función llama a la siguiente. Comparte tus avances y experiencias con la comunidad.

Introducción al desarrollo de intérpretes y lenguajes de programación

Construcción de Intérpretes de Software en Python 3.8

Creación de Compiladores e Intérpretes con Lenguaje Platzi

Construcción del lexer o tokenizador

Análisis Léxico: Construcción de un Léxer para Intérpretes

Definición de Tokens en Lenguaje de Programación Platzi

Desarrollo de un Lexer con Test-Driven Development

Pruebas de Operadores, Delimitadores y Fin de Archivo en Lexer Python

Lexer: Identificación de Keywords y Tokens Complejos

Reconocimiento de Funciones en Lexer de Lenguaje de Programación

Implementación de Operadores y Condicionales en Lexer de Platzi

Implementación de Operadores de Dos Caracteres en Lexer

Creación de un REPL en Python para Lenguaje de Programación

Construcción del parser o analizador sintáctico

Construcción de un Parser para el Lenguaje Platzi

Definición de Nodos Abstractos para Árbol de Sintaxis (AST) en Python

Desarrollo de un AST en Python: Creación de la Clase Programa

Parseo de Let Statements en Lenguaje Platzi

Implementación de funciones advanced y expected tokens

Manejo de Errores en Parsers con Test Driven Development

Parseo de Return Statements en Lenguaje Platzi

Técnicas de Parsing: Top-Down y Bottom-Up

Pruebas de AST para Let y Return Statements en Parsers

Pratt Parsing: Implementación y Registro de Funciones en Python

Parseo de Identificadores en Lenguajes de Programación

Parseo de Expression Statements en Platzi Parser

Parseo de Enteros en Lenguaje Platzi

Implementación de Operadores Prefijo en Parsers

Operadores InFix en Expresiones: Implementación y Pruebas

Implementación de Operadores InFix en un Parser

Expresiones Booleanas en el Lenguaje de Programación Platzi

Evaluación de Precedencia y Testeo de Booleanos en Parsers

Evaluación de Expresiones Agrupadas en un Parser

Parseo de Condicionales en Lenguaje Platzi

Implementación de Condicionales en Parser de Lenguaje

Parsing de Funciones en Lenguaje Platzi: Creación de Nodos AST

Construcción de nodos de función en un parser AST

Llamadas a Funciones en Lenguajes de Programación

Implementación de llamadas a funciones en un parser con AST

Parseo de Expresiones en LET y RETURN Statements

Implementación de REPL para Árbol de Sintaxis Abstracta

Evaluación o análisis semántico

Evaluación Semántica en Lenguajes de Programación

Estrategias de Evaluación en Lenguajes de Programación

Representación de Nodos AST y Objetos en Python

Evaluación de Expresiones en JavaScript y Python

Implementación del Patrón Singleton para Booleanos y Nulos

Evaluación de Prefijos en Lenguaje de Programación Platzi

Evaluación de Expresiones Infix en Lenguaje Platzi

Evaluación de Condicionales en Lenguaje de Programación Platzi

Evaluación y Uso del Return Statement en Programación

Manejo de Errores Semánticos en Lenguaje Platzi

Declaración y Gestión de Variables en Lenguajes de Programación

Manejo de Ambientes y Variables en Lenguajes de Programación

Declaración de Funciones en Lenguaje de Programación Platzi

Implementación de Llamadas a Funciones en PlatziLang

Mejora del intérprete

Implementación de Strings en un Intérprete de Lenguaje de Programación

Operaciones de Concatenación y Comparación de Strings en Intérprete

Implementación de Funciones Built-in en Python

Implementación de Built-ins en el Lenguaje Platzi

Siguientes pasos

Desarrollo de Lenguaje de Programación y Estructuras de Datos en Python

Construcción de un Intérprete en Python desde Cero

Parseo de Expression Statements en Platzi Parser