Parseo de Identificadores en Lenguajes de Programación

¿Cómo parsear identificadores en un lenguaje de programación?

Parsear identificadores es un paso crucial al desarrollar un lenguaje de programación. Ya sea que estés construyendo tu propio lenguaje o simplemente quieras entender cómo funcionan los lenguajes de scripting como JavaScript y Python, comprender este proceso te llevará un paso adelante. Esta guía te ayudará a familiarizarte con el parseo de identificadores y el uso de expression statements.

¿Qué son los expression statements?

En algunos lenguajes de programación, un expression statement es un tipo de declaración que evalúa una expresión, regresando un valor. Este tipo de declaración es común en lenguajes como JavaScript y Python, pero no es universal. Por ejemplo, en Java no podrías tener un expression statement fuera de una clase.

Para manejar esta característica en el lenguaje que estamos creando, Platzi, necesitamos un nuevo tipo de nodo conocido como expression statement.

¿Por qué utilizar las funciones helper para pruebas?

El uso de funciones helper es una práctica valiosa cuando se sigue un enfoque de Test Driven Development (TDD). Así, las pruebas no resultan repetitivas y el código puede ser reutilizado eficientemente. La idea es crear funciones que faciliten la validación de los programas y proporcionen mensajes de error más claros.

Algunos tipos de literales que podemos probar son:

• Enteros (e.g., 5)
• Booleanos (true/false)
• Identificadores

¿Cómo implementar y probar identificadores?

La magia comienza en el archivo parser_test.py. Allí, crearemos un test inicial llamado test_identifier_expression, utilizando foobar; como ejemplo. A continuación, se espera que el programa genere un expression statement con un identificador foobar.

Ejemplo de código en Python:

def test_identifier_expression():
    input = "foobar;"
    lexer = Lexer(input)
    parser = Parser(lexer)
    program = parser.parse_program()
    assert program.statements[0].expression.value == "foobar"

¿Cuál es el flujo de las pruebas de literal expression?

Después de configurar el entorno inicial, se pasa a la función test_program_statement para asegurar:

1. La ausencia de errores en el parser.
2. El número correcto de statements.
3. Que el primer statement sea un expression statement.

La función test_literal_expression se utiliza para manejar diferentes tipos de valores:

• Si el value_type es un string, se prueba que sea un identificador.
• Si no, la prueba falla, preparando el camino para incluir tests de booleanos y enteros en el futuro.

¿Qué son los expression statements y cómo se codifican?

Un expression statement es un nodo en el AST de tu lenguaje. Aquí es donde se integra en el archivo AST.py. Esta clase extiende el statement y tiene un método __str__ que convierte su expresión en un string.

Ejemplo en Python de la implementación:

class ExpressionStatement(Statement):
    def __init__(self, token: Token, expression: Expression = None):
        super().__init__(token)
        self.expression = expression

    def __str__(self):
        return str(self.expression)

¿Qué rol juega el TDD en el desarrollo de lenguajes de programación?

El Test Driven Development no solo garantiza la corrección del programa, sino que también permite al desarrollador realizar cambios con confianza. Contar con un conjunto robusto de pruebas ofrece la tranquilidad de saber que el software funcionará adecuadamente después de cualquier modificación.

Si eres principiante en TDD, puede que algunos conceptos te suenen confusos inicialmente. Sin embargo, esta metodología te asegura caminar con seguridad mientras programas, evitando bucles de debugging interminables. No olvides probar estos conceptos en todos tus proyectos de software y disfrutar del proceso de aprendizaje continuo.