¿Qué exactamente es un puerto? ¿Es algo físico?

En este caso se refiere a puertos lógicos para poder transmitir datos de red entre diferentes dispositivos. Los puertos de 1 a 1024 se llaman puertos reservados. Tienen una función específica que mandan los estándares. La organización que se encarga de establecer los estándares es la IANA.

No confundir con los puertos de un computador.

No es algo fisico. Piensa en un puerto USB que puede contener tu computadora. Aqui puedes conectar dispositivos o memorias USB. Es decir, a traves de estos hay entradas de informacion Segun lo que entendi funciona casi igual, la diferencia es que esto no es fisico