El primer castillo se construyó en Solivella hacia mediados del siglo XII por Gombau de Oluja. Durante el siglo XIII perteneció a los Puigverd y después a Anglesola. Devuelto a la corona en el siglo siguiente, y tras pasar por varias manos, el rey Alfonso el Magnánimo lo vendió a Ramón Berenguer de Llorac el año 1424.
Hacia finales del siglo XV o inicios del XVI los Llorac construyeron en ella, aprovechando las construcciones antiguas, un gran palacio renacentista, rodeado de murallas y fosos, con torres redondas en los ingles y un gran patio central. En 1599, Felipe III creó la baronía de Solivella. En el siglo XVIII el castillo pasó, por matrimonio, a manos de la familia Despujol.
Las guerras carlistas dejaron el castillo muy dañado, aunque se conservaban sus elementos principales y poco a poco se fue arruinando hasta que en 1915 el ayuntamiento lo dinamitó.
Actualmente queda sólo pie uno de los ingles y un portal medieval, así como diversos restos de torres, cisternas, muros y el gran patio de armas, todo ello cuidadosamente restaurado en el año 2008.
