El primer contacto de Olivieri con España se produjo en Turín, donde su trabajo llamó la atención de Sebastián de la Cuadra y Llarena, marqués de Villarías, quien le hizo venir a la corte de Felipe V. Llegó a Madrid en 1740 y un año después fue nombrado primer escultor del rey, con estudio y vivienda en el primer piso del nuevo Palacio Real. Allí estableció una academia privada donde acudían a dibujar muchos jóvenes. El apoyo de la Corona a esta iniciativa fue inmediato, de manera que su primera asamblea pública fue presidida por Villarías, ya entonces ministro de Estado. En mayo de 1744 Villarías presentó al rey el proyecto de la Junta preparatoria, redactado sin duda por Olivieri y él mismo, para fundar una Academia de Bellas Artes, iniciativa que contó con la aprobación real. En esta institución fue profesor director -luego, director de la escultura- a partir de 1752, así como director general de la misma desde ese mismo año hasta su muerte. Además, Olivieri dirigió con Felipe de Castro, el programa escultórico del nuevo Palacio Real siguiendo el Sistema de adornos ideado por el erudito benedictino Martín Sarmiento.