Introducción al desarrollo de intérpretes y lenguajes de programación

1

Aprende a desarrollar lenguajes de programación con intérpretes

2

Desarrolla LPP o Lenguaje de Programación Platzi

Construcción del lexer o tokenizador

3

¿Qué es análisis léxico? Funcionamiento del lexer y tokens

4

Estructura y definición de tokens en Python

5

Lectura de caracteres y tokens

6

Tokens ilegales, operadores de un solo carácter y delimitadores

7

Reconocimiento y diferenciación entre letras y números

8

Declaración y ejecución de funciones

9

Extensión del lexer: condicionales, operaciones y booleanos

10

Operadores de dos caracteres

11

Primera versión del REPL con tokens

Construcción del parser o analizador sintáctico

12

¿Qué es un parser y AST?

13

Estructura y definición de nodos del AST en Python

14

Parseo del programa o nodo principal

15

Parseo de assignment statements

16

Parseo de let statements

17

Parseo de errores

18

Parseo del return statement

19

Técnicas de parsing y pratt parsing

20

Pruebas del AST

21

Implementación del pratt parser

22

Parseo de Identifiers: testing

23

Parseo de Identifiers: implementación

24

Parseo de enteros

25

Prefix operators: negación y negativos

26

Infix operators y orden de las operaciones: testing

27

Infix operators y orden de las operaciones: implementación

28

Parseo de booleanos

29

Desafío: testing de infix operators y booleanos

30

Parseo de expresiones agrupadas

31

Parseo de condicionales: testing y AST

32

Parseo de condicionales: implementación

33

Parseo de declaración de funciones: testing

34

Parseo de declaración de funciones: AST e implementación

35

Parseo de llamadas a funciones: testing y AST

36

Parseo de llamadas a funciones: implementación

37

Completando los TODOs o pendientes del lexer

38

Segunda versión del REPL con AST

Evaluación o análisis semántico

39

Significado de símbolos

40

Estrategias de evaluación para intérpretes de software

41

Representación de objetos

42

Evaluación de expresiones: enteros

43

Evaluación de expresiones: booleanos y nulos

44

Evaluación de expresiones: prefix

45

Evaluación de expresiones: infix

46

Evaluación de condicionales

47

Evaluación del return statement

48

Manejo de errores

49

Ambiente

50

Bindings

51

Evaluación de funciones

52

Llamadas a funciones

Mejora del intérprete

53

Implementación de strings

54

Operaciones con strings

55

Built-in functions: objeto y tests

56

Built-in functions: evaluación

Siguientes pasos

57

Retos para expandir tu intérprete

58

Continúa con el Curso de Creación de Compiladores de Software

¿Qué es análisis léxico? Funcionamiento del lexer y tokens

3/58
Recursos

Aportes 5

Preguntas 3

Ordenar por:

Los aportes, preguntas y respuestas son vitales para aprender en comunidad. Regístrate o inicia sesión para participar.

Básicamente el funcionamiento del Lexer es el siguiente:
.

.

  1. Código fuente: Este es el archivo de texto plano que nosotros escribimos, es simplemente texto sin sentido para la computadora, pero con mucho sentido para nosotros los programadores. Este texto hay que empezar a traducirlo a algo que la computadora entienda.
  2. Es aquí donde viene el Lexer, el Lexer se encargará de identificar todos los simbolos y “tokens” que estén escritos en el código fuente, y justamente gracias a ese análisis va a generar los tokens.

.
Ahora, ¿qué es un token?
.
En mis propias palabras, es el identificador de cada componente de nuestro lenguaje, por ejemplo, nuestro lenguaje tiene predefinidos qué tokens (o componentes) aceptará, por ejemplo, yo puedo decir: “Oye lenguaje, quiero que tengas un operador de suma”, entonces defino mi token suma, y el Lexer se encargará de ir buscando parte por parte en el código fuente en qué lugares aparece mi token suma y te va a decir: “Ah mira, lo encontré, aquí hay un token suma” y así con el resto de tokens, puedes tener tokens para sumas, restas, funciones, asignaciones, etc. 👀

Dos capítulos del libro de compiladores bien resumidos. El libro del “Dragon” :'v

Me estaba perdiendo de la maravilla de este curso

El token termina siendo el escaneo a partir del diccionario de símbolos con los cuales defines tu lenguaje de programación.