Reconocimiento y diferenciación entre letras y números

Uhhh genial, básicamente lo que hace el lexer es ir leyendo caracter por caracter, en el caso de “variable cinco = 5” lo que suecede es que, el lexer lee el primer caracter y se encuentra que es una “v” y el lexer dice: “oiga, esto es una letra, esto no es ningún delimitador ni ningún caracter especial, seguro debe haber más letras” y continua leyendo y así hasta que se encuentre que el siguiente con un espacio en blanco, recordemos que este proceso lo hace read_identifier, por lo que cuando se encuentre con un espacio en blanco dejará de leer.
.
Una vez que ya tiene la palabra capturada, se va a buscar si esa palabra forma parte de las palabras reservadas de nuestro lenguaje “kewywords” y retorna el tipo de token que es 😄
.
Lo genial de esto es que a partir de aquí podemos empezar a ponernos creativos, podemos empezar a poner nuestras propias palabras reservadas, es decir, en vez de poner “variable” podemos poner “unKeywordSuperChido” para definiri variables 😄 (por favor no pongas ese keyword), pero imagina las posibilidades!
.
Yo voy agregando comentarios al código que me ayudan a entenderlo mejor, por si a alguien le sirve, les dejo mi repositorio con el commit de esta clase:
.
Adicion de la lectura de asignaciones

Es util que la función _skip_whitespace también ignore los TABS. Esto se logra así:

    def _skip_whitespace(self)-> None:
        while match(r'^[\s\t]$', self._character):
            self._read_character()

Buen video, lo que yo agregué es una funcion has_next para controlar el flujo.

Se disponibiliza con un getter has_next:

pub fn has_next(&self) -> bool {
        return self._has_next;
}

Y la asignación del valor se vuelve true si se retorna un EOF:

self._has_next = token.token_type != TokenType::EOF;

Y en los test se ejecuta un while hasta que has_next retorne false:

while lexer.has_next() {
        tokens.push(lexer.next_token());
}

El código está en lenguaje rust.

Bueno yo en esta clase tuve una dificultad en conseguir la misma cantidad de tokens que estábamos pasando en el lexer. El Lexer me estaba devolviendo 20 tokens y yo estaba esperando 6, contando el EOF.
Me di cuenta que yo a diferencia de el profe Aroesti, estaba recorriendo el source por len(source) + 1 en lugar de solo 5, o en mi caso 6 (ya que tengo en cuenta el EOF
Para solucionar esto, me mantuve con el len(source)+1 pero agregué una validación para buscar el EOF y romper el ciclo en ese momento

Aunque es mucho más fácil usar simplemente la cantidad de tokens esperados, creo que esta implementación podría ser de utilidad en el futuro cuándo hagamos revisión de más de una línea.

Implementación de la función is_number

Implementación de la función skip_whitespace

Implementación de la función skip_whitespace

Implementación de la función lookup_token_type en Token

Implementación de la función read_identifier

Implementación de is_letter function

Definición del test_assignment

Nuevas funciones del lexer

Definición de los test que vamos a hacer en la clase