¿qué son los tokens?

TOKENS: Es una cadena de caracteres que tiene un significado coherente en cierto lenguaje de programación También llamado componente léxico es una cadena de caracteres que tiene un significado coherente en cierto lenguaje de programación.

Un token es “una unidad de valor que una organización crea para gobernar su modelo de negocio y dar más poder a sus usuarios para interactuar con sus productos, al tiempo que facilita la distribución y reparto de beneficios entre todos sus accionistas”.

Fuente: https://www.bbva.com/es/que-es-un-token-y-para-que-sirve/

Te recomiendo leer el siguiente artículo: Tokens

Un token sería cada elemento de una línea de código. En el siguiente ejemplo:

var example = 3 

Los tokens serían:

Hola,

Es una unidad de valor. Puede ser también un archivo de intercambio.