La primera referencia que tenemos sobre el edificio data de 1244, en concreto del 4 de septiembre del mismo año en el que según recoge Vicente Rausell, existe una escritura de
donación del castillo de Anna,1 otorgada por Jaime I de Aragón que junto a él, cede las Villas de Anna y Enguera a la Orden de Santiago, siendo maestre D. Pelayo Pedro Correa.
Es pues aceptable determinar que el edificio original, Castillo o fortaleza situada en la Plaza de los Álamos, tenía un papel más de carácter de guarnición de vigilancia, que un valor estratégico que nunca lo tuvo, por tanto estamos ante una fortaleza de carácter modesto que frecuentemente soportaba sobre todo en los años anteriores a 1272 fuertes presiones de
la mayoría mora, que acabó reubicándose “extramuros “ de la Villa en la partida de Agres.
Los años anteriores a 1272,conocemos de la existencia del
castillo ya que la Villa de Anna estuvo bajo la influencia del moro Al – Azrach, un caudillo militar nacido en un pueblo del valle de Pego, y que encabezo un levantamiento que produjo a Jaime I la perdida de los castillos de Montesa, Vallada, Chella, Navarres y Anna.
Una de las mandas que Jaime I establece en la donación de la Villa de Anna a la Orden de Santiago, era la de proceder a su repoblación, esto debió suponer el establecimiento de los primeros pobladores, cristianos, en el entorno de la fortaleza en la zona de la Alameda formando las primeras calles que son el origen del núcleo de lo que devino en llamarse como el “poblado”.
Obviamente fueron inicialmente razones estratégicas y de seguridad las que llevaron a tomar la decisión del emplazamiento y las que posteriormente condicionaron al menos a una parte de la población; tal es así que en siglos posteriores la presión que ejercieron los nuevos pobladores, cristianos, sobre la mayoría morisca, acabo, después de la expulsión de 1609, arrasando con la mezquita y el poblado de Agres que quedó reducido a una sola masía que llegó a perdurar hasta el siglo XX.
De su etapa fundacional allá por los siglos XII /XIII , nos quedan los basamentos del edificio en su parte posterior .La primera transformación del edificio se produce después de 1604 cuando se produce la venta de la Villa de Anna en tiempos de Felipe III
