Reconocimiento de Funciones en Lexer de Lenguaje de Programación

¿Cómo se reconocen las funciones en el lexer?

El desarrollo de un lexer es crucial para la construcción de un lenguaje de programación, y ahora nos encontramos en el emocionante punto de reconocer las funciones dentro de nuestro código. Ya hemos avanzado bastante al poder identificar identificadores, ciertos keywords como "variable" y varios símbolos del lenguaje. Sin embargo, ha llegado el momento de dar un paso más y poder detectar funciones.

Para esto, vamos a implementar un nuevo test que inicialmente debe fallar; esto nos obligará a escribir el código necesario para que este test pueda avanzar. Trabajaremos dentro del branch 8 de nuestro repositorio en GitHub, donde además generaremos un test llamado test function declaration.

En él, definiremos una función que se ve de la siguiente manera:

variable suma es igual a un procedimiento que recibe como parámetros x y y y regresa simplemente x más y.

Esta sintaxis, particular por estar en español, forma parte de nuestro lenguaje y nos permite identificar claramente las funciones.

¿Cómo se implementa y ejecuta el test?

Para comenzar, cargamos el lexer con el source, que es el string de arriba. Aunque solo pasamos strings, es importante recordar que podríamos leer este source directamente de un archivo del sistema. Una vez que tenemos nuestra lista de tokens, vamos a identificar los siguientes 16 tokens:

1. variable
2. Identificador suma
3. Signo de asignación =
4. Keyword procedimiento (representa function)
5. Paréntesis de apertura (
6. Parámetro x
7. Coma ,
8. Parámetro y
9. Paréntesis de cierre )
10. Corchetes de apertura {
11. Identificador x
12. Operador suma +
13. Identificador y
14. Punto y coma ;
15. Corchetes de cierre }
16. Punto y coma ;

Es crucial incluir las aserciones apropiadas, ya que sin ellas, el test no tiene valor alguno.

¿Qué hacemos cuando el test falla?

Al ejecutar nuestro test, encontramos que no se reconoce la palabra "procedimiento" adecuadamente; se detecta como un identificador. Esto ocurre porque nuestro lexer aún no ha sido instruido para reconocerla como un keyword.

Para solucionarlo, vamos al archivo donde hemos definido nuestros tokens. Allí, agregamos "procedimiento" como un nuevo keyword, asignándole el tipo function. Ahora nuestro lexer podrá identificar correctamente esta palabra.

¿Qué challenge nos espera?

Como cierre, te propongo que implementes un test adicional que llame funciones. Este se denomina test function call y no recibe parámetros ni retorna valores. Así lograrás evaluar el siguiente source:

variable resultado es igual a suma de 2 y 3;

Aquí, los tokens a identificar incluyen:

• variable como keyword de tipo let
• resultado como identificador
• Un operador de asignación
• suma como identificador que es seguido por paréntesis, indicando una llamada a función

Aunque el lexer no requiere entender la sintaxis o semántica completa de nuestro lenguaje, este es el trabajo del parser. Este desafío es una excelente forma de poner en práctica lo aprendido e ir familiarizándote más con la dinámica de creación del lenguaje.

Para ayudarte en este proceso de aprendizaje activo, la solución se encuentra disponible en un branch en GitHub, donde puedes comparar tu código con el original. ¡Recuerda compartir tus avances y dificultades en la sección de comentarios para que te podamos brindar apoyo en todo momento!