¿Cual es la configuración de webpack para añadir las imágenes?

Bueno, aquí está como lo resolví. Añadí a la configuración de webpack el file-loader

			{
				test: /\.(png|svg|jpg|jpeg|gif)$/,
				use: {
					loader: 'file-loader',
				}
			},

e importe cada una de las imágenes y remplace el atributo src correspondiente.

import UserIconImage from '../assets/user-icon.png';

...

<img src={UserIconImage} alt="" />