L’association, loi 1901 sans but lucratif, reconnue d’intérêt général, a été créée en 1904 par Charles Portal pour sauvegarder et conserver le patrimoine de Cordes sur ciel . En effet à cette époque plusieurs portes de la ville devaient être détruites soit dans le cadre de l’alignement des rues soit parce qu’elles menaçaient ruines (voir la photo ci-dessus de la porte des Ormeaux vers 1910).
C’est ainsi que l’association a acheté progressivement les 4 portes de la ville haute puis quelques autres édifices : la porte de la Jane (acquise en 1904 et 1956), le portail Peint (1908), la porte des Ormeaux (1910), la porte du Vainqueur (1913), la poterne du Tuadou (1926), la maison dite Fabre (1994).
Par son action auprès des services publics, elle a évité que 2 maisons à façade gothique soient vendues pour être démontées et remontées à l’étranger.
En 1914 elle a acheté et fait installer la margelle du puits qui se trouvait auparavant dans la cour d’une maison médiévale de la cité.
En 1934 un musée du patrimoine est créé par Charles Portal pour recueillir les objets anciens de Cordes et de son canton.
Aujourd’hui l’association est toujours propriétaire de ces édifices. Elle en assure l’entretien avec l’aide principalement de l’État (DRAC) et du Conseil Régional complétée par le Département et accessoirement par la commune.
La porte des Ormeaux associée à la maison Fabre, ensemble nommé maison des Ormeaux, forme un magnifique ensemble de 800m2 dont la partie rénovée abrite le musée Charles Portal – Histoire d’une cité .