La cité épiscopale, classée au patrimoine mondial de l'UNESCO, a des allures de forteresse. Cathédrale Sainte-Cécile et palais épiscopal de la Berbie sont des véritables châteaux forts et ceci s'explique par l'hérésie des Cathares qui sévit aux XIIème et XIIIème siècles. L'évêque catholique est en pays hostile et la croisade des Albigeois est organisée pour mater les hérétiques.
Le donjon peut servir de refuge si les murailles ne suffisent pas.
Les salles du château abritent une magnifique collection de tableaux du peintre Toulouse-Lautrec, l'enfant du pays. Portraits, scènes de la vie parisienne et affiches publicitaires illustrent le talent éclectique du peintre.
La galerie d'Amboise témoigne des aménagements réalisés à la Renaissance, lorsque s'éloignent les dangers de révolte contre l'autorité épiscopale. Le toit, en forme de coque inversée, est richement décoré.
De même, des terrasses, qui dominent le Tarn, sont aménagées en jardins à la française.