Parseo de Enteros en Lenguaje Platzi

Curso de Creación de Lenguajes de Programación: Intérpretes

Contenido del curso

Introducción al desarrollo de intérpretes y lenguajes de programación

Construcción del lexer o tokenizador

Construcción del parser o analizador sintáctico

Evaluación o análisis semántico

Mejora del intérprete

Siguientes pasos

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0014:03

Parseo de Enteros en Lenguaje Platzi

Curso de Creación de Lenguajes de Programación: Intérpretes

Clase 24 de 58

Clase 24 / 58

Recursos

¿Cómo podemos parsear enteros en un lenguaje de programación?

Parsear enteros es una habilidad esencial al diseñar un lenguaje de programación, ya que los enteros aparecen en multitud de contextos, desde expresiones hasta parámetros de funciones. Permite transformar cadenas de caracteres que representan números en datos numéricos que el programa puede manipular y operar. A continuación, detallamos el proceso general para parsear enteros, apoyándonos en la sección de código proporcionada.

¿Qué elementos son necesarios para parsear enteros?

Test de unidad: Siempre comenzamos con un test que garantice que el nuevo nodo o funcionalidad cumple con lo esperado. Aquí creamos dos tests: test integer expressions y test integer. Este último es una función auxiliar útil para reutilizar código.
Nodo en el AST (Abstract Syntax Tree): Un nodo específico para enteros es fundamental. Este nodo tiene como atributos un token y opcionalmente, un valor transformado.
Función de parseo: Necesitamos una función específica que se encargue de interpretar los enteros desde el flujo de tokens. Esto incluye manejar posibles errores de conversión (usando try-except en Python).

¿Cómo se implementa la función parse integer?

def parse_integer(self):
    if self.current_token is None:
        return None
    integer = Integer(token=self.current_token)
    try:
        integer.value = int(self.current_token.literal)
    except ValueError as e:
        self.errors.append(f"No se ha podido parsear '{self.current_token.literal}' como entero")
        return None
    return integer

Conversión: Se utiliza int() para convertir el valor literal del token a entero.
Manejo de errores: Usar un bloque try-except para manejar conversiones fallidas y reportar errores explícitos al usuario.

¿Qué importancia tiene el registro de prefijo?

Para que el sistema reconozca cuándo usar parse_integer, es importante registrarlo como un prefijo asociado al token de tipo int. De esta manera, el parser sabe qué función llamar en cada caso de uso.

¿Cómo se verifica el funcionamiento del parseo de enteros?

Ejecución de test: Una vez integrados los elementos arriba mencionados, ejecutamos nuestros tests. Estos deben confirmar que la implementación es correcta y que el AST se forma adecuadamente.
Revisar errores: Si algún test falla, el mensaje de error bien redactado nos permitirá realizar correcciones rápidamente.

La comprensión de estos procesos te sitúa en camino hacia el dominio del diseño de lenguajes personalizados. Esta habilidad no solo es fundamental en el desarrollo de compiladores e intérpretes, sino que también ofrece una perspectiva profunda sobre cómo funcionan los lenguajes de programación. ¡Sigue practicando y experimentando para afianzar tus conocimientos!

Carlos Eduardo Gomez García

Hace 6 años

Para mi caso, quise probar que al tener ambas expresiones (identificadores y enteros) se estuviera devolviendo bien la cadena, sin embargo, gracias a este test me di cuenta que en el archivo ast.py estábamos devolviendo el statement sin ";" desde el dunder methos de __str__, eso hacía que el test fallara porque "foo" era diferente de "foo;" (lo expectado), así que lo primero que hice fue arreglar el dunder method __str__ de la clase ExpressionStatement:

    def __str__(self) -> str:
        return f"{str(self.expression)};"

Y por último, ahora si puse mis tests que revisan ambas expresiones, integers e identificadores :D

    def test_expression_statement(self) -> None:

        program: Program = Program(statements=[

            ExpressionStatement(

                token=Token(TokenType.IDENT, literal="foobar"),

                expression=Identifier(
                    token=Token(TokenType.IDENT, literal="foobar"),
                    value="foobar"
                )

            ),

            ExpressionStatement(

                token=Token(TokenType.INT, literal="5"),

                expression=Identifier(
                    token=Token(TokenType.INT, literal="5"),
                    value="5"
                )

            )

        ])

        program_str = str(program)
        self.assertEquals(program_str, "foobar;5;")

Carlos Eduardo Gomez García

Hace 6 años

POSDATA: Aunque el test funciona, el valor de retorno está mal, es decir, no tiene que devolver con punto y coma, NO hay que modificar la clase ExpressionStatement` para que devuelva el ";", sino que más bien, que modificar el self.assertEquals(program_str, "foobar;5;")aself.assertEquals(program_str, "foobar5")para que lo evalúe sin ";", puede parecer raro, pero esto es así porque realmente estamos devolviendo dos nodos del tipoExpressionStatement, y al convertirlos en string estos quedan juntitos, pero realmemente no pdebería haber problema . Es importante que ExpressionStatement` NO devuelva nada con ";" porque más adelante dará problemas jaja

Introducción al desarrollo de intérpretes y lenguajes de programación

Construcción de Intérpretes de Software en Python 3.8

Creación de Compiladores e Intérpretes con Lenguaje Platzi

Construcción del lexer o tokenizador

Análisis Léxico: Construcción de un Léxer para Intérpretes

Definición de Tokens en Lenguaje de Programación Platzi

Desarrollo de un Lexer con Test-Driven Development

Pruebas de Operadores, Delimitadores y Fin de Archivo en Lexer Python

Lexer: Identificación de Keywords y Tokens Complejos

Reconocimiento de Funciones en Lexer de Lenguaje de Programación

Implementación de Operadores y Condicionales en Lexer de Platzi

Implementación de Operadores de Dos Caracteres en Lexer

Creación de un REPL en Python para Lenguaje de Programación

Construcción del parser o analizador sintáctico

Construcción de un Parser para el Lenguaje Platzi

Definición de Nodos Abstractos para Árbol de Sintaxis (AST) en Python

Desarrollo de un AST en Python: Creación de la Clase Programa

Parseo de Let Statements en Lenguaje Platzi

Implementación de funciones advanced y expected tokens

Manejo de Errores en Parsers con Test Driven Development

Parseo de Return Statements en Lenguaje Platzi

Técnicas de Parsing: Top-Down y Bottom-Up

Pruebas de AST para Let y Return Statements en Parsers

Pratt Parsing: Implementación y Registro de Funciones en Python

Parseo de Identificadores en Lenguajes de Programación

Parseo de Expression Statements en Platzi Parser

Parseo de Enteros en Lenguaje Platzi

Implementación de Operadores Prefijo en Parsers

Operadores InFix en Expresiones: Implementación y Pruebas

Implementación de Operadores InFix en un Parser

Expresiones Booleanas en el Lenguaje de Programación Platzi

Evaluación de Precedencia y Testeo de Booleanos en Parsers

Evaluación de Expresiones Agrupadas en un Parser

Parseo de Condicionales en Lenguaje Platzi

Implementación de Condicionales en Parser de Lenguaje

Parsing de Funciones en Lenguaje Platzi: Creación de Nodos AST

Construcción de nodos de función en un parser AST

Llamadas a Funciones en Lenguajes de Programación

Implementación de llamadas a funciones en un parser con AST

Parseo de Expresiones en LET y RETURN Statements

Implementación de REPL para Árbol de Sintaxis Abstracta

Evaluación o análisis semántico

Evaluación Semántica en Lenguajes de Programación

Estrategias de Evaluación en Lenguajes de Programación

Representación de Nodos AST y Objetos en Python

Evaluación de Expresiones en JavaScript y Python

Implementación del Patrón Singleton para Booleanos y Nulos

Evaluación de Prefijos en Lenguaje de Programación Platzi

Evaluación de Expresiones Infix en Lenguaje Platzi

Evaluación de Condicionales en Lenguaje de Programación Platzi

Evaluación y Uso del Return Statement en Programación

Manejo de Errores Semánticos en Lenguaje Platzi

Declaración y Gestión de Variables en Lenguajes de Programación

Manejo de Ambientes y Variables en Lenguajes de Programación

Declaración de Funciones en Lenguaje de Programación Platzi

Implementación de Llamadas a Funciones en PlatziLang

Mejora del intérprete

Implementación de Strings en un Intérprete de Lenguaje de Programación

Operaciones de Concatenación y Comparación de Strings en Intérprete

Implementación de Funciones Built-in en Python

Implementación de Built-ins en el Lenguaje Platzi

Siguientes pasos

Desarrollo de Lenguaje de Programación y Estructuras de Datos en Python

Construcción de un Intérprete en Python desde Cero

Parseo de Enteros en Lenguaje Platzi