¿Cómo se escribe los títulos en jupyter?

Debes de convertir una celda a Markdown primero (Ctrl + M). Luego puedes decidir si poner un titulo de tamaño h1 hasta h6 como si fuera html, esto lo haces al escribir los #.

# Titulo en  tamaño h1
## Titulo en  tamaño h2
### Titulo en  tamaño h3
#### Titulo en  tamaño h4
##### Titulo en  tamaño h5
###### Titulo en  tamaño h6

Si no quieres escribir los #, puedes usar Ctr + 1 y jupyter automáticamente te pone 1 asterisco, lo mismo sucede para los demás tamaños.

es muy similar a los comandos de markdown trradicionales

Hola Gabriel, lo haces convirtiendo la celda de jupyter en un markdown y luego poniendo utilizando la sintaxis de markdown.

# Titulo GRANDE
## Titulo mas pequeno
### Titulo aun mas pequeno