Tuve varios problemas con esta línea:
from object_detection.builders import model_builder
Arrojaba diferentes errores respecto a keras. Lo que me funcionó fue instalar keras manualmente usando las siguientes instrucciones:
!pip install tensorflow==2.15.0
y
!pip install keras==2.15.0
Ambas líneas deben colocarse una de debajo de otra después de la instalación de "object_detection" y es que su setup instala las últimas versiones de tf y keras lo cual causa los conflictos.
Por cierto, también utilicé la versión 4.8.0.76 de opencv-python-headless y moví los "import" iniciales después de la línea que instala keras. Y es que instalar tf y keras reinicia la sesión.