Alguien me podria explicar for dummies que es GPU y TPUs?

Son hardware (cosas físicas de los ordenadores) que Google pone para que uses, ya que tenerlo en tu pc en casa es muy caro, pocos usuarios disponen de esa capacidad de cálculo.

Una GPU hace referencia a la tarjeta de video de los computadores. Es decir, un computador gamer entre mejor tarjeta de video (GPU) tenga, mejor y mas "pesados" juegos correrá. . Una TPU es un componente propio de Google que tiene la capacidad de correr complejos y grandes componentes de Machine Learning e IA para temas de Ciencia de Datos. Es como un cerebro mas avanzado que la CPU (procesador del computador) llamese Intel o AMD.

Son componentes de hardware que sirven para realizar tareas de cómputo. En este caso puesto que pertenecen a google y no están ubicados en tu propio ordenador, serían parte de un servicio en la nube el cual es gratuito en google colab (es decir, google cede algunos recursos de sus ordenadores a sus usuarios para que realicen las tareas de cómputo que requieran). Esto puede ser conveniente tanto en el caso de que no cuentes con los recursos suficientes en tu ordenador o por la practicidad que brinda usarlos en la nube.