Aquí les dejo la mi solución al bug

Y como pueden ver con esto ya puede reconocer números como parte de una variable

Aquí el link al repositorio: https://github.com/FabianVegaA/sigmaF/tree/dev :)
¿Cómo interactuar directamente con un Lexer utilizando un REPL?
El funcionamiento de un Lexer es fascinante, pero, llegó el momento de avanzar y poder trabajar con él de manera directa a través de los comandos. Imagina generar o inventar cualquier tipo de expresión y ver cómo el Lexer las procesa correctamente. Para esto, contamos con los REPL (Read, Evaluate, Print, Loop). Aunque aún no evaluaremos expresiones, podemos generar una versión inicial para interactuar con nuestro lenguaje de programación Platzi. Exploremos cómo construir este entorno de ejecución interactiva.
¿Cómo configuramos un REPL en Python?
Para crear un REPL en Python, comenzamos con algunos pasos esenciales:
Crear Archivos Principales:
Importar Componentes Necesarios:
Implementar Funcionalidades del REPL:
endoffile_token para definir los límites de procesamiento.# Implementación básica del REPL def start_repl(): while (source := input('>> ')) != 'salir': lexer = Lexer(source) while (next_token := lexer.next_token()) != endoffile_token: print(next_token)
¿Cómo integrar REPL en el archivo principal y ejecutarlo?
En este paso culminaremos enlazando nuestra implementación inicial del REPL con el archivo principal (main.py).
if __name__ == '__main__' para establecer main.py como el punto de inicio.main) que dará la bienvenida e instrucciones al usuario, y luego iniciará el REPL.# Archivo main.py import repl def main(): print("Bienvenido al lenguaje de programación Platzi.") print("Escribe una oración para comenzar") repl.start_repl() if __name__ == '__main__': main()
¿Qué más puedes explorar y cómo resolver desafíos?
Hasta aquí, tu REPL debería estar funcionando para recibir comandos y lexeando correctamente las expresiones. Sin embargo, podemos enfrentarnos a bugs, como con los identificadores que contienen guiones bajos, lo cual es un reto común.
El camino hacia el aprendizaje de los lenguajes de programación está lleno de logros y retos, pero cada paso que das te acerca más a entender y desarrollar plataformas complejas. Desde aquí, anima a continuar con el parser y transformar tokens en AST, profundizando en la mecánica de los intérpretes. ¡Sigue avanzando en este emocionante aprendizaje!
El funcionamiento de un Lexer es fascinante, pero, llegó el momento de avanzar y poder trabajar con él de manera directa a través de los comandos. Imagina generar o inventar cualquier tipo de expresión y ver cómo el Lexer las procesa correctamente. Para esto, contamos con los REPL (Read, Evaluate, Print, Loop). Aunque aún no evaluaremos expresiones, podemos generar una versión inicial para interactuar con nuestro lenguaje de programación Platzi. Exploremos cómo construir este entorno de ejecución interactiva.
Para crear un REPL en Python, comenzamos con algunos pasos esenciales:
Crear Archivos Principales:
Importar Componentes Necesarios:
Implementar Funcionalidades del REPL:
endoffile_token para definir los límites de procesamiento.# Implementación básica del REPL
def start_repl():
while (source := input('>> ')) != 'salir':
lexer = Lexer(source)
while (next_token := lexer.next_token()) != endoffile_token:
print(next_token)
En este paso culminaremos enlazando nuestra implementación inicial del REPL con el archivo principal (main.py).
if __name__ == '__main__' para establecer main.py como el punto de inicio.main) que dará la bienvenida e instrucciones al usuario, y luego iniciará el REPL.# Archivo main.py
import repl
def main():
print("Bienvenido al lenguaje de programación Platzi.")
print("Escribe una oración para comenzar")
repl.start_repl()
if __name__ == '__main__':
main()
Hasta aquí, tu REPL debería estar funcionando para recibir comandos y lexeando correctamente las expresiones. Sin embargo, podemos enfrentarnos a bugs, como con los identificadores que contienen guiones bajos, lo cual es un reto común.
El camino hacia el aprendizaje de los lenguajes de programación está lleno de logros y retos, pero cada paso que das te acerca más a entender y desarrollar plataformas complejas. Desde aquí, anima a continuar con el parser y transformar tokens en AST, profundizando en la mecánica de los intérpretes. ¡Sigue avanzando en este emocionante aprendizaje!
Aquí les dejo la mi solución al bug

Y como pueden ver con esto ya puede reconocer números como parte de una variable

Aquí el link al repositorio: https://github.com/FabianVegaA/sigmaF/tree/dev :)
Vale, yo solucioné el problema de los números en los nombres de variables de esta forma:
Simplemente a la función _read_identifier le puse una validación para que el primer caracter sea una letra y ya depués puede leer letras y números, y funciona :D
def _read_identifier(self) -> str:
initial_position = self._position
if self._is_letter(self._character):
while self._is_letter(self._character) or self._is_number(self._character):
self._read_character()
return self._source[initial_position:self._position]

En los lenguajes de programación, las variables normalmente pueden contener números pero no pueden iniciar con ellos. Es esto se basa el bug. . Las soluciones propuestas por Fabián Vega Alcota y por RitaxMaster (ambas) validan bien. Aunque prefiero la de Fabián porque la de Ritax me parece redundante. . Ahh!! Y hablando de validar... Aquí les dejo mi test para validar no entienda como identificar una expresión que no comience con número.
def test_identifier_cant_start_with_number(self) -> None:
source: str = '1_foo;'
lexer: Lexer = Lexer(source)
tokens: List[Token] = []
for i in range(3):
tokens.append(lexer.next_token())
expected_tokens: List[Token] = [
Token(TokenType.IDENTIFIER, '1_foo'),
Token(TokenType.SEMICOLON, ';'),
Token(TokenType.EOF, ''),
]
self.assertIsNot(tokens, expected_tokens)
self.assertEqual(len(tokens), 3)
Te quiero mucho David
Gracias profe, va quedando bonito:

ok
Implementación del start_repl función
ya terminé mi lexer, pero antes de pasar al paser quiero implementar el reconocimiento de un ciclo for, pero me está resultando muy confuso tan solo hacer la función del lexer_test y no encuentro info en San Google.
Podrían apoyarme?
Mi solución al bug:
Dándo como resultado