Le château de Tournon est l'un des plus beaux châteaux de l'Ardèche. Son caractère massif, sa situation élevée lui confèrent une allure imposante. Construit entre le XIVème et le XVIème siècle, son architecture témoigne de l'évolution de la société, entre la période médiévale et les prémices de la Renaissance. Une fois franchie la lourde porte de bois cloutée, autrefois précédée d'une herse, on pénètre dans la cour d'honneur. C'est ici même que prend naissance l'histoire du château. L'immense mur austère sur la droite est le dernier témoignage du donjon médiéval, appelé par la suite château St-Just. En face, le grand corps de logis témoigne de l'évolution architecturale du bâtiment : une plus grande légèreté et un souci de la décoration sont visibles. Les nombreux vitraux et les fenêtres à meneaux en sont un bel exemple. Dans ce corps de logis vécut les seigneurs de Tournon. Un inventaire établi au XVIIème siècle, lorsque le dernier descendant s'éteignit, montre l'importance des biens que possédait cette famille. Une bibliothèque, riche de quelques 800 volumes, des centaines de tableaux, des médailles antiques, des statues de marbre et des bustes, des tapisseries et bien d'autres objets encore enrichissaient les salles du château. Celui-ci fut dès cette époque transformé en prison. Les salles durent être aménagées, le château modifié et adapté. Dans les années 30, la prison est supprimée et le service des Monuments Historiques procède à une restauration du bâtiment. Certaines cartes postales ou photographies anciennes, des observations écrites notées lors de cette réhabilitation laissent deviner l'aménagement de la prison. C'est ainsi que l'on apprend la présence d'un immense préau muré, lieu de promenade des prisonniers sur la terrasse dominant le Rhône. En 1938 enfin, le château est classé Monument Historique.

C'est à cette période qu'a germé le projet d'un musée. Au début du XXème siècle, on pensait déjà à un musée régional exposant des objets de la préhistoire à nos jours. En 1928, l'Union Générale des Rhodaniens inaugure un Musée du Rhône d'abord installé dans la chapelle puis dans le château. Il s'articule autour de quatre départements : la salle Lenthéric (ingénieur des Ponts et Chaussées) dédiée aux modèles de barrage, la salle Marc Seguin consacrée aux ponts, celle évoquant les mariniers et enfin la salle de la navigation contemporaine. Le musée actuel a maintenu cette orientation à travers plusieurs salles se rapportant au thème rhodanien. Aujourd'hui l'histoire des collections du musée rappelle l'importance des dons et des legs, divers et multiples, qui furent effectués au profit du musée. Les collections se sont ainsi enrichies de grands noms d'artistes, de Raoul Dufy à Marcel Gimond en passant par André Lhote.