¿Cómo implementar las funciones avanzadas en nuestro parser?
Cuando desarrollamos un parser para un lenguaje de programación, implementar funciones como advanced tokens y expected token es crucial. Estas funciones nos permiten navegar entre los tokens y validar si los tokens esperados coinciden con los definidos por el lenguaje que estamos creando. La función expected token nos ayuda a asegurar que el próximo token es el correcto en contexto, mientras que advanced tokens nos ayuda a avanzar al siguiente token.
¿Qué es y cómo se crea expected token?
La función expected token recibe como parámetro un token type. Su propósito es verificar si el siguiente token es del tipo esperado.
Uso de Assert: Mediante un assert, se compara el tipo del token actual (pick token) con el tipo que esperamos.
Resultado: Si coincide, la función avanza al siguiente token y devuelve true. Si no coincide, devuelve false.
advanced tokens está diseñado para avanzar entre tokens, similar a cómo avanzamos entre caracteres. Se realiza al guardar el pick token actual como el current token y solicitar un nuevo pick token del Lexer.
Proceso de Avance: Primero, se asigna el pick token al current token. Después, se solicita un nuevo pick token al Lexer.
Objetivo: Mantener el flujo entre tokens, permitiendo análisis secuenciales y confiables.
¿Cómo solucionar problemas comunes al inicializar y correr tests?
Es frecuente enfrentarse a errores al configurar las estructuras de un parser. A continuación, se presentan algunos problemas comunes y cómo solucionarlos.
Inicialización de tokens
Al comenzar a analizar tokens, es esencial inicializarlos adecuadamente para evitar errores de tipo None.
Doble Llamada: Para iniciar tanto el pick como el current token, se hace una llamada repetida a advance_tokens durante la inicialización del parser.
Al terminar de parsear declaraciones, es crucial avanzar al token siguiente.
Integration con bucles: Es importante asegurarse de que dentro de un bucle while, se esté avanzando correctamente al próximo token.
while current_token is NOT None: parse_statement() advance_tokens()
¿Cómo verificar la precisión de los identificadores en let statements?
Es vital no sólo parsear correctamente los resultados, sino también verificar que los nombres de los identificadores sean precisos.
Primer y único reto: Validación de nombres
El instructor propone un reto para el estudiante que consiste en asegurar que no sólo los let statements estén correctamente parseados, sino que también los nombres de los identificadores coincidan con los esperados:
Ejemplo de Verificación: Comprueba que el nombre del primer identificador sea x, el segundo y, y el tercero fu.
Se alienta al estudiante a implementar estos tests por sí mismo, considerando expectativas y ajustes hasta que los tests pasen exitosamente. Esto no sólo refuerza el conocimiento adquirido, sino que también fomenta la habilidad de resolución de problemas y familiarización con el desarrollo de software orientado a pruebas.
Este enfoque meticuloso no sólo cubre las bases técnicas, sino que también ofrece un camino claro para seguir explorando y perfeccionando habilidades en el desarrollo de parsers y entender con mayor profundidad la estructura de un lenguaje de programación. ¡Adelante!
Implementación de funciones advanced y expected tokens
¿Cómo implementar las funciones avanzadas en nuestro parser?
Cuando desarrollamos un parser para un lenguaje de programación, implementar funciones como advanced tokens y expected token es crucial. Estas funciones nos permiten navegar entre los tokens y validar si los tokens esperados coinciden con los definidos por el lenguaje que estamos creando. La función expected token nos ayuda a asegurar que el próximo token es el correcto en contexto, mientras que advanced tokens nos ayuda a avanzar al siguiente token.
¿Qué es y cómo se crea expected token?
La función expected token recibe como parámetro un token type. Su propósito es verificar si el siguiente token es del tipo esperado.
Uso de Assert: Mediante un assert, se compara el tipo del token actual (pick token) con el tipo que esperamos.
Resultado: Si coincide, la función avanza al siguiente token y devuelve true. Si no coincide, devuelve false.
advanced tokens está diseñado para avanzar entre tokens, similar a cómo avanzamos entre caracteres. Se realiza al guardar el pick token actual como el current token y solicitar un nuevo pick token del Lexer.
Proceso de Avance: Primero, se asigna el pick token al current token. Después, se solicita un nuevo pick token al Lexer.
Objetivo: Mantener el flujo entre tokens, permitiendo análisis secuenciales y confiables.
¿Cómo solucionar problemas comunes al inicializar y correr tests?
Es frecuente enfrentarse a errores al configurar las estructuras de un parser. A continuación, se presentan algunos problemas comunes y cómo solucionarlos.
Inicialización de tokens
Al comenzar a analizar tokens, es esencial inicializarlos adecuadamente para evitar errores de tipo None.
Doble Llamada: Para iniciar tanto el pick como el current token, se hace una llamada repetida a advance_tokens durante la inicialización del parser.
Al terminar de parsear declaraciones, es crucial avanzar al token siguiente.
Integration con bucles: Es importante asegurarse de que dentro de un bucle while, se esté avanzando correctamente al próximo token.
while current_token is NOT None:
parse_statement()
advance_tokens()
¿Cómo verificar la precisión de los identificadores en let statements?
Es vital no sólo parsear correctamente los resultados, sino también verificar que los nombres de los identificadores sean precisos.
Primer y único reto: Validación de nombres
El instructor propone un reto para el estudiante que consiste en asegurar que no sólo los let statements estén correctamente parseados, sino que también los nombres de los identificadores coincidan con los esperados:
Ejemplo de Verificación: Comprueba que el nombre del primer identificador sea x, el segundo y, y el tercero fu.
Se alienta al estudiante a implementar estos tests por sí mismo, considerando expectativas y ajustes hasta que los tests pasen exitosamente. Esto no sólo refuerza el conocimiento adquirido, sino que también fomenta la habilidad de resolución de problemas y familiarización con el desarrollo de software orientado a pruebas.
Este enfoque meticuloso no sólo cubre las bases técnicas, sino que también ofrece un camino claro para seguir explorando y perfeccionando habilidades en el desarrollo de parsers y entender con mayor profundidad la estructura de un lenguaje de programación. ¡Adelante!
Muy bien, mi solución es poco eficiente comparada con la del profesor, pero antes de ponerla, explicaré un par de cosas importantes (tuve que ver la solución del profesor porque no entendía qué pasaba xD)
.
Mi idea era que, en program.statements estaban guardados cada uno de los statements, por lo que basándome en la clase LetStatement, debería tener un nombre disponible, así que mi idea era hacer esto:
Sin embargo, me salía un error de que name no existía en el statement y yo estaba de "¡¿Cómo así que noe existe?! No tas viendo que ahí está definido dentro de la clase?"
.
Quería hacer prints desde los tests para debuguear, pero no podía usar la función print() desde los tests, no se imprimía nada, de ahi descubrí que si quieres usar prints en los tests tienes que correr este comando:
mypy . && nosetests -s
Así se imprime lo que quiera debuguear, gracias a esto descrubrí que cada statement era un string, y por eso no estaba definida la propiedad name... ¡Pues claro!, LetStatement tiene el dunder method __str__ que hace que cada vez que se consulte una instancia de statement esta devuelva un string... revisando el código del profesor ví que el estaba usando una función llamada cast(), no sé exactamente lo que hace pero intuyo que esa función convierte ese string generado por el dunder method a una instancia de LetStatement, así que aplicándolo, llegue a esta conclusión:
Tal y como funciona el programa actualmente, si al quien prepare la prueba automatizada o al usuario que escriba el código, se le olvida escribir el punto y coma al final del último statement, el programa quedará en un loop infinito de todas maneras.
Para solucionar esto basta con cambiar la línea del archivo parse.py que tiene esto:
while self._current_token.token_type != TokenType.SEMICOLON:
y sustituirlo por esto
while self._current_token.token_type != TokenType.SEMICOLON and self._current_token.token_type != TokenType.EOF:
Toco vear la explicación del profe porque estaba díficil. En mi caso use foo, bar y fizz , y simplemente es de hacer la lista de nombres a esperar y la que se comparara. La lista díficil de sacar es la de que se comprara, para sacarla es de prestar atención que Program guarda una List[Statement] en estas pueden ir LetStatement ya que esta hereda de Statement, así que en este caso como todas son LetStatement podemos acceder a su atributo name y por parte de name como es declarada en el constructor de LetStatement como Optional[Identifier] podemos acceder a s u clase Identifier para obtener su atributo value.
expected_names = ['foo', 'bar', 'fizz']
names: List[str] = []
for statement in program.statements:
names.append(statement.name.value)
self.assertEqual(names, expected_names)
expected_names = ['foo', 'bar', 'fizz']
names: List[str] = []
for statement in program.statements:
names.append(statement.name.value)
self.assertEqual(names, expected_names)
```Toco vear la explicación del profe porque estaba díficil. En mi caso use `foo`, `bar` y `fizz`, y simplemente es de hacer la lista de nombres a esperar y la que se comparara. La lista díficil de sacar es la de que se comprara, para sacarla es de prestar atención que Program guarda una `List[Statement]` en estas pueden ir `LetStatement` ya que esta hereda de `Statement`, así que en este caso como todas son `LetStatement` podemos acceder a su atributo `name` y por parte de name como es declarada en el constructor de `LetStatement` como `Optional[Identifier]` podemos acceder a s u clase `Identifier` para obtener su atributo `value`.
La funcion cast(1, 2), basicamente lo que hace es decirle a mypy que trate al valor 2 como si fuera un tipo de valor 1.
En nuestro caso, ocupabamos que tratara a nuestro Statement, como un tipo de valor LetStatament, ya que al momento de declarar la lista de statements en program,
le estamos diciendo que la lista va a contener valores de tipo Statement, pero la lista a la cual le estamos haciendo el test, contiene valores de tipo LetStatement, por lo que, cuando intentamos acceder a el name.value de el elemento de la lista, mypy nos dice " creo que eso no se va a poder", ya que el elemento de la lista se supone que tiene valores de tipo Statement, y este no tiene la propiedad .name. Por lo que aqui es donde entra cast, el cual de dice a mypy, "Trata a ese elemento de la lista que se supone que es un Statement, como un LetStatement y trata a su prop .name como un Identifier.
Eso fue lo que entendí de la documentación, si es que alguien se da cuenta que estoy incorrecto, porfavor dime jajaja.
En caso de que a alguien más le suceda, yo moví mi carpeta de trabajo a otra carpeta en otra ubicación y perdí nose, después de estar buscando pude volver a instalarlo en el entorno virtual usando