¿Cual es la diferencia entre poner la imagen en el html con una etiqueta <img> y ponerlo en el css con background-image?

Es decir, si lo aplico como background podria hacer cosas como por ejemplo: colocar dicha imagen de fondo en un parrafo (?)

En el caso del background, como su nombre lo indica, se trata del fondo de un elemento, por lo que puede tener otro encima. Si lo añades desde el HTML, es un elemento bien definido, que ocupa su propio espacio.

Hay muchas diferencias, creo que depende del uso que le quieres dar.

1. Con la etiqueta image, esa image hará parte del contenido de tu sitio, es una parte más y de igual forma puedes aplicarle css para que tenga cierto tamaño o la alineación que quieras, entre muchas otras cosas.
2. Si la aplicas como background, como se indica esta imagen no es un elmento principal de tu página simplemente es el fondo de otro objeto, bien sea de toda tu página o de algún contenedor específico.

Al hacerlo en el css te queda mas facil manejar la responsividad.