Es necesario que los computadores dentro de una red LAN se comuniquen con el router para poder poder hablar entre ellos?

No, existe otro aparato llamado switch que los une, a traves de esa interconexión se pueden comunica entre ellos, el router es para que todos accedan al internet

En una red LAN se pueden comunicar por medio de cables como los cables coaxiales o los cables de red o por medios como el wi-fi

Si están en el mismo segmento de red no es necesario, tu puedes lograr que se comuniquen con un switch.

Pero para ir a internet, alcanzar otras ubicaciones (oficinas, países), otros segmentos de red que están en la misma ubicación, necesitaras un router, como su nombre lo indica es el encargado de enrutar los paquetes hacia un origen/destino.