La "Casa-Forte" degli Alagon, come impropriamente viene ricordata poiché ad essi è appartenuta per più tempo, fu voluta e fatta costruire dal cagliaritano Giovanni Sivilleris (o Sinilleris), a cui nel 1415 Pietro III Spinola, Arcivescovo di Cagliari, concesse di costruire nelle adiacenze della chiesa parrocchiale intitolata a S.Maria, una fortezza per difendere la zona dalle incursioni dei ribelli arborensi superstiti della guerra tra gli Arborea e gli Aragona, nonché dai banditi barbaricini che svernavano da quelle parti.
E' un raro esempio di architettura civile e militare in Sardegna (è stata anche l'ultima costruzione di tale genere nell'isola), la pianta dell'edificio ha grosso modo la forma di una "U", le sommità delle mura agli angoli e nel prospetto principale sono coronate da una merlatura guelfa.

All'interno al pian terreno si affacciano alcuni vani e un salone, mentre al 1° piano si trovano quelle che dovevano essere le camere del palazzo.
E' stato per secoli il fulcro della vita non solo del centro di Villasor ma anche dei paesi vicini che appartenevano al Marchesato di Villasor. 
Sopra il portale principale si trova uno stemma, contrassegno di famiglia, di forma circolare sormontato da una corona marchionale. Si vedono chiaramente in rilievo, nella parte di sinistra, sei palle, arma dei de Silva, sovrapposte ad un albero, simbolo degli Arborea, e nella metà di destra una torre alata, arma degli Alagon.

Lo stemma apparterrebbe al casato degli Alagon Arborea de Silva, cioè agli eredi della fusione dei due casati tra Manuela Alagon Arborea, marchesa di Villasor, con il conte Giuseppe de Silva Fernandez de Cordoba, conte di Cifuentes.

Dopo l'abolizione del feudalesimo il castello continuò a mantenere la sua importanza fu infatti sede di mandamento, in quanto Villasor fu eretto a capoluogo di mandamento. Durante il regno sardo-piemontese fu sicuramente utilizzato come caserma per le truppe e probabilmente gli ambienti del pian terreno furono adibiti a prigione. Successivamente il castello ospitò le sedute del consiglio comunitativo e la scuola femminile ed infine ridotto a rimessa agricola.
Si narra di un sotterraneo che lo collega alla chiesa parrocchiale e che sboccherebbe alla sinistra dell'altare maggiore, ma anche durante gli ultimi lavori di ristrutturazione non è stata trovata nessuna traccia.
Da qualche anno dopo una pesante opera di restauro è stato riaperto al pubblico e di tanto in tanto ospita mostre e convegni.