Platzi
Platzi

¡Invierte en ti y celebremos! Adquiere un plan Expert o Expert+ a precio especial.

Antes: $349
$259
Currency
Antes: $349
Ahorras: $90
COMIENZA AHORA
Termina en: 9D : 3H : 12M : 5S

Debes iniciar sesión

Para ver esta clase crea una cuenta sin costo o inicia sesión

¿Qué es análisis léxico? Funcionamiento del lexer y tokens

3/58

Básicamente el funcionamiento del Lexer es el siguiente:
.
lexer.png
.

  1. Código fuente: Este es el archivo de texto plano que nosotros escribimos, es simplemente texto sin sentido para la computadora, pero con mucho sentido para nosotros los programadores. Este texto hay que empezar a traducirlo a algo que la computadora entienda.
  2. Es aquí donde viene el Lexer, el Lexer se encargará de identificar todos los simbolos y “tokens” que estén escritos en el código fuente, y justamente gracias a ese análisis va a generar los tokens.

.
Ahora, ¿qué es un token?
.
En mis propias palabras, es el identificador de cada componente de nuestro lenguaje, por ejemplo, nuestro lenguaje tiene predefinidos qué tokens (o componentes) aceptará, por ejemplo, yo puedo decir: “Oye lenguaje, quiero que tengas un operador de suma”, entonces defino mi token suma, y el Lexer se encargará de ir buscando parte por parte en el código fuente en qué lugares aparece mi token suma y te va a decir: “Ah mira, lo encontré, aquí hay un token suma” y así con el resto de tokens, puedes tener tokens para sumas, restas, funciones, asignaciones, etc. 👀

lexer.png

Dos capítulos del libro de compiladores bien resumidos. El libro del “Dragon” :'v

Básicamente el funcionamiento del Lexer es el siguiente:
.
lexer.png
.

  1. Código fuente: Este es el archivo de texto plano que nosotros escribimos, es simplemente texto sin sentido para la computadora, pero con mucho sentido para nosotros los programadores. Este texto hay que empezar a traducirlo a algo que la computadora entienda.
  2. Es aquí donde viene el Lexer, el Lexer se encargará de identificar todos los simbolos y “tokens” que estén escritos en el código fuente, y justamente gracias a ese análisis va a generar los tokens.

.
Ahora, ¿qué es un token?
.
En mis propias palabras, es el identificador de cada componente de nuestro lenguaje, por ejemplo, nuestro lenguaje tiene predefinidos qué tokens (o componentes) aceptará, por ejemplo, yo puedo decir: “Oye lenguaje, quiero que tengas un operador de suma”, entonces defino mi token suma, y el Lexer se encargará de ir buscando parte por parte en el código fuente en qué lugares aparece mi token suma y te va a decir: “Ah mira, lo encontré, aquí hay un token suma” y así con el resto de tokens, puedes tener tokens para sumas, restas, funciones, asignaciones, etc. 👀

lexer.png

Dos capítulos del libro de compiladores bien resumidos. El libro del “Dragon” :'v