Implementación de funciones advanced y expected tokens

¿Cómo implementar las funciones avanzadas en nuestro parser?

Cuando desarrollamos un parser para un lenguaje de programación, implementar funciones como advanced tokens y expected token es crucial. Estas funciones nos permiten navegar entre los tokens y validar si los tokens esperados coinciden con los definidos por el lenguaje que estamos creando. La función expected token nos ayuda a asegurar que el próximo token es el correcto en contexto, mientras que advanced tokens nos ayuda a avanzar al siguiente token.

¿Qué es y cómo se crea expected token?

La función expected token recibe como parámetro un token type. Su propósito es verificar si el siguiente token es del tipo esperado.

• Uso de Assert: Mediante un assert, se compara el tipo del token actual (pick token) con el tipo que esperamos.
• Resultado: Si coincide, la función avanza al siguiente token y devuelve true. Si no coincide, devuelve false.

def expected_token(token_type):
    assert peek_token.token_type == token_type, "Token inesperado!"
    advance_token()
    return True

¿Cómo funciona advanced tokens?

advanced tokens está diseñado para avanzar entre tokens, similar a cómo avanzamos entre caracteres. Se realiza al guardar el pick token actual como el current token y solicitar un nuevo pick token del Lexer.

• Proceso de Avance: Primero, se asigna el pick token al current token. Después, se solicita un nuevo pick token al Lexer.
• Objetivo: Mantener el flujo entre tokens, permitiendo análisis secuenciales y confiables.

def advance_tokens():
    current_token = peek_token
    peek_token = lexer.get_next_token()

¿Cómo solucionar problemas comunes al inicializar y correr tests?

Es frecuente enfrentarse a errores al configurar las estructuras de un parser. A continuación, se presentan algunos problemas comunes y cómo solucionarlos.

Inicialización de tokens

Al comenzar a analizar tokens, es esencial inicializarlos adecuadamente para evitar errores de tipo None.

• Doble Llamada: Para iniciar tanto el pick como el current token, se hace una llamada repetida a advance_tokens durante la inicialización del parser.

def initialize_parser():
    advance_tokens()
    advance_tokens()

Ajustes durante el ciclo de vida del parser

Al terminar de parsear declaraciones, es crucial avanzar al token siguiente.

• Integration con bucles: Es importante asegurarse de que dentro de un bucle while, se esté avanzando correctamente al próximo token.

while current_token is NOT None:
    parse_statement()
    advance_tokens()

¿Cómo verificar la precisión de los identificadores en let statements?

Es vital no sólo parsear correctamente los resultados, sino también verificar que los nombres de los identificadores sean precisos.

Primer y único reto: Validación de nombres

El instructor propone un reto para el estudiante que consiste en asegurar que no sólo los let statements estén correctamente parseados, sino que también los nombres de los identificadores coincidan con los esperados:

• Ejemplo de Verificación: Comprueba que el nombre del primer identificador sea x, el segundo y, y el tercero fu.

def test_identifier_names():
    assert program[0].identifier == 'x'
    assert program[1].identifier == 'y'
    assert program[2].identifier == 'fu'

Se alienta al estudiante a implementar estos tests por sí mismo, considerando expectativas y ajustes hasta que los tests pasen exitosamente. Esto no sólo refuerza el conocimiento adquirido, sino que también fomenta la habilidad de resolución de problemas y familiarización con el desarrollo de software orientado a pruebas.

Este enfoque meticuloso no sólo cubre las bases técnicas, sino que también ofrece un camino claro para seguir explorando y perfeccionando habilidades en el desarrollo de parsers y entender con mayor profundidad la estructura de un lenguaje de programación. ¡Adelante!