Básicamente el funcionamiento del Lexer es el siguiente:
.
.
- Código fuente: Este es el archivo de texto plano que nosotros escribimos, es simplemente texto sin sentido para la computadora, pero con mucho sentido para nosotros los programadores. Este texto hay que empezar a traducirlo a algo que la computadora entienda.
- Es aquí donde viene el Lexer, el Lexer se encargará de identificar todos los simbolos y “tokens” que estén escritos en el código fuente, y justamente gracias a ese análisis va a generar los tokens.
.
Ahora, ¿qué es un token?
.
En mis propias palabras, es el identificador de cada componente de nuestro lenguaje, por ejemplo, nuestro lenguaje tiene predefinidos qué tokens (o componentes) aceptará, por ejemplo, yo puedo decir: “Oye lenguaje, quiero que tengas un operador de suma”, entonces defino mi token suma, y el Lexer se encargará de ir buscando parte por parte en el código fuente en qué lugares aparece mi token suma y te va a decir: “Ah mira, lo encontré, aquí hay un token suma” y así con el resto de tokens, puedes tener tokens para sumas, restas, funciones, asignaciones, etc. 👀
