Parseo de let statements

Muy bien, mi solución es poco eficiente comparada con la del profesor, pero antes de ponerla, explicaré un par de cosas importantes (tuve que ver la solución del profesor porque no entendía qué pasaba xD)
.
Mi idea era que, en program.statements estaban guardados cada uno de los statements, por lo que basándome en la clase LetStatement, debería tener un nombre disponible, así que mi idea era hacer esto:

self.assertEqual(program.statements[0].name, "x")
self.assertEqual(program.statements[1].name, "y")
self.assertEqual(program.statements[2].name, "foo")

Sin embargo, me salía un error de que name no existía en el statement y yo estaba de “¡¿Cómo así que noe existe?! No tas viendo que ahí está definido dentro de la clase?”
.
Quería hacer prints desde los tests para debuguear, pero no podía usar la función print() desde los tests, no se imprimía nada, de ahi descubrí que si quieres usar prints en los tests tienes que correr este comando:

mypy . && nosetests -s

Así se imprime lo que quiera debuguear, gracias a esto descrubrí que cada statement era un string, y por eso no estaba definida la propiedad name… ¡Pues claro!, LetStatement tiene el dunder method __str__ que hace que cada vez que se consulte una instancia de statement esta devuelva un string… revisando el código del profesor ví que el estaba usando una función llamada cast(), no sé exactamente lo que hace pero intuyo que esa función convierte ese string generado por el dunder method a una instancia de LetStatement, así que aplicándolo, llegue a esta conclusión:

self.assertEqual(cast(LetStatement, program.statements[0]).name, "x")
self.assertEqual(cast(LetStatement, program.statements[1]).name, "y")
self.assertEqual(cast(LetStatement, program.statements[2]).name, "foo")

Todo bien pero… en el atributo name se guarda una instancia de Identifier, así que tenía que acceder a su value (propiedad de la clase Identifier).

self.assertEqual(cast(LetStatement, program.statements[0]).name.value, "x")
self.assertEqual(cast(LetStatement, program.statements[1]).name.value, "y")
self.assertEqual(cast(LetStatement, program.statements[2]).name.value, "foo")

Pero soprresa, Identifier también tiene un dunder method xD Así que al final mi solución quedó así jaja:

self.assertEqual(cast(Identifier, cast(LetStatement, program.statements[0]).name).value, "x")
self.assertEqual(cast(Identifier, cast(LetStatement, program.statements[1]).name).value, "y")
self.assertEqual(cast(Identifier, cast(LetStatement, program.statements[2]).name).value, "foo")

Y solo hay que importar los módulos requeridos:

from typing import (
    cast
)

from lpp.ast import (
    Identifier,
    LetStatement,
    Program,
)

Después vi el código del profesor y el lo hizo con listas y bah! xD Al menos lo logré jaja, una hora para lograrlo:'D

Tal y como funciona el programa actualmente, si al quien prepare la prueba automatizada o al usuario que escriba el código, se le olvida escribir el punto y coma al final del último statement, el programa quedará en un loop infinito de todas maneras.

Para solucionar esto basta con cambiar la línea del archivo parse.py que tiene esto:

while self._current_token.token_type != TokenType.SEMICOLON:

y sustituirlo por esto

while self._current_token.token_type != TokenType.SEMICOLON and self._current_token.token_type != TokenType.EOF:

Mi solucion usando la funcion zip de python.

El archivo de parser_test.py es:

    def test_identifiers(self) -> None:
        source: str = """
            variable x =  5;
            variable y = 10;
            variable foo = 20;
        """
        lexer: Lexer = Lexer(source)
        parser: Parser = Parser(lexer)

        program: Program = parser.parse_program()
        
        self.assertEqual(len(program.statements), 3)

        nombres = ['x','y','foo']
        for statement, nombre in zip(program.statements, nombres):
            self.assertEqual(statement.name.value,nombre)

Aqui les dejo el reto.

        self.assertEqual(cast(Identifier, cast(LetStatement, program.statements[0]).name).value ,'x')
        self.assertEqual(cast(Identifier, cast(LetStatement, program.statements[1]).name).value ,'y')
        self.assertEqual(cast(Identifier, cast(LetStatement, program.statements[2]).name).value ,'foo')

Por lo que entendi segun la documentacion:
https://mypy.readthedocs.io/en/stable/casts.html

La funcion cast(1, 2), basicamente lo que hace es decirle a mypy que trate al valor 2 como si fuera un tipo de valor 1.
En nuestro caso, ocupabamos que tratara a nuestro Statement, como un tipo de valor LetStatament, ya que al momento de declarar la lista de statements en program,

 def __init__(self, statements: List[Statement]) -> None:

le estamos diciendo que la lista va a contener valores de tipo Statement, pero la lista a la cual le estamos haciendo el test, contiene valores de tipo LetStatement, por lo que, cuando intentamos acceder a el name.value de el elemento de la lista, mypy nos dice " creo que eso no se va a poder", ya que el elemento de la lista se supone que tiene valores de tipo Statement, y este no tiene la propiedad .name. Por lo que aqui es donde entra cast, el cual de dice a mypy, "Trata a ese elemento de la lista que se supone que es un Statement, como un LetStatement y trata a su prop .name como un Identifier.

Eso fue lo que entendí de la documentación, si es que alguien se da cuenta que estoy incorrecto, porfavor dime jajaja.

Resolución del reto dentro del test_let_statements

letStatement = cast(LetStatement,program.statements[0])
        identifier = cast(Identifier, letStatement.name) 
        self.assertEqual(identifier.value,'x')
        letStatement = cast(LetStatement, program.statements[1])
        identifier = cast(Identifier, letStatement.name)
        self.assertEqual(identifier.value, 'y')
        letStatement = cast(LetStatement, program.statements[2])
        identifier = cast(Identifier, letStatement.name)
        self.assertEqual(identifier.value, 'foo')

Inicialización de current y peek tokens

En caso de que a alguien más le suceda, yo moví mi carpeta de trabajo a otra carpeta en otra ubicación y perdí nose, después de estar buscando pude volver a instalarlo en el entorno virtual usando

sudo pip3 install nose

Implementación de _expected_token y _advance_token