Selon Claude Parayre:

La situation stratégique  voudrait qu'à l'origine un poste militaire romain soit présent sur ce lieu. Puis un château aurait été construit sur le même emplacement à l'époque des Wisigoths (415-507 ?); les Sarrasins l'auraient occupé de 719 à 760.

La forteresse était une seigneurie distincte celle de Fenouillet.  

1252: Chabert de Barbera qui était le principal lieutenant du vicomte de Fenouillet parti guerroyer,tenait fermement le château sous son autoritéainsi que Puylaurens et Quéribus.

Le château est mentionné dans le traité de Corbeil comme dépendant de la couronne de france teen 1260 une garnison royale composée de 3 sergents et 1 chapelain commandée par le châtelain Pierre de Mirepoix y est présente.

1272: lors d'une réévaluation de la solde des hommes d'arme, le château n'stplus cité comme forteresse royale.

Il semble qu'il est inféodé à une famille éponyme.

Entre 1276 et 1312 deux co-seigneurs, les chevaliers Guilhem de Tornaboyx, et Bernard Roitg, font hommage pour Castel Fizel pour un cens de50 livres de Barcelone.

On ne sait si au XIIIème s existait un habitat; probablement oui car une église "Saint Jaume" est signalée dès 1011 au bord du ruisseau coulant au-dessous du château; ce n'est pas pour autant que le château existait déjà.

Il apparaît donc que Castel Fizel ne fut une forteresse royale qu'entre 1258 et 1262 et qu'ensuite elle fut une terre royale inféodéee encore en vigueur en 1790.

1371: François Lesan fait aveu au roi pour 3 partes indivis du château.

1367/1368/1384: le domaine comporte 6 feux.

1398: 3 septembre - après le décès du noble Jean de Saint Martin seigneur de Castel Fizel, sa soeur Françoise lui succède comme seigneuresse; elle est l'épouse du noble Pierre-Amelin Gayraud Tayrand seigneur de Belvianes. Puis le château est la propriété des St Ferriol puis des d'Alberny.

1468 Antoine de Cup seigneur de Caudiès, épouse Antoinette fille de Pétronille de Castro Fideli (acte de Maître Pons, notaire royal de St paul de Fenouillet).

1496: le château est pris par les troupes aragonaises sous le commandement du capitan-général de catalane Don Henrique de Guzman Duc de Médina et probablement pillé (mais non détruit).

Ceci laisse présumer qu'il fut détruit entre 1496 et 1543, par explosion (à la poudre noire); certainement lors de l'invasion de 1543.

1545: Castel Fizel semble être presque totalement déserté.

1694-1710: Henri Pepratx en est le propriétaire.*

1717: Jean Rougé de Caramaing.**

1759: le marquis de Mauléon puis après 1799 Du Mesnil son gendre.

1786: Alberni de Castel Fizel puis c'est la famille du Vivier.

Fin XIXe s. les propriétaires sont la famille de Ferluc puis au XXe S, Jonquières d'Oriola. (tous apparentésà la même famille depuis 1716 au gré des successions).

* Joseph Armagnac, auteur d'un article sur Henry Pépratx, maire perpétuel de Caudiès, publié dans le Messager de Notre-Dame de La Val de 1934 (repris dans la revue Fenouillèdes n°25-26) écrit:

"Le 30 décembre1686, suivant acte passé devant Me Bentaiou, notaire à Limoux, Alberny de Castelfizel vendit son domaine de Castelfizel et Villeneuve (actuellement Borde Crémade et Borde de Madame) à Henry Pépratx, bourgeois de Caudiès  que le commerce avait enrichi."

** Dans le même article, Joseph Armagnac dit encore qu'à la mort d'Henry Pépratx (septembre 1710), ruiné par ses procès, "Tous ses biens furent saisis, le 7 octobre 1710, par Jean Rougé de Caramaing (Caramany) à qui Pépratx devait 8000 livres et qui devint seigneur de Castelfizel.