Cómo manejan los servidores múltiples clientes al mismo tiempo?

Gran parte del manejo de las conexiones las realizan los servicios que se ejecutan en los servidores; como los servicios web, nginx ,apache, iis, etc.

a través de conexiones, hay diferentes modelos una conexión por cliente, una conexión por varios clientes pero solo usándola un cliente a la vez, si el cliente esta ocupado buscando la bd entonces otro cliente puede usar esa conexión.

Hola Es porque están desarrollados y optimizados para tener esa función. ^_^

Como dice Juan, has de cuenta que el procesador y la memoria de un servidor son mucho mas "fuertes" que los de una computadora normal.

Tal vez no esté siendo muy técnico en la respuesta, pero básicamente la arquitectura (La parte física) de un servidor es distinta a la de un computador de usuario final, es decir, el procesador de un servidor es capaz de procesar mucha más información, tienden a ser más potentes y también tienen más memoria RAM, en la parte física radica la diferencia. Suponga que el procesador de servidor y la ram, sean muchas personas de un call center esperando las peticiones de los clientes.