Théodore Ernest Cognacq (1839-1928) originaire de Saint-Martin de Ré est connu notamment pour avoir fondé l'un des plus grands magasins parisien : la Samaritaine en 1870. Sa réussite professionnelle et financière s'accompagne de l'achat d'oeuvres d'art et historiques. En 1906, en mécène éclairé, il donne de l'argent à la ville de Saint-Martin de Ré et fonde un musée riche notamment des collections de Théodore Phélippot transférées à l'hôtel de Clerjotte.
Le musée se situe aujourd'hui dans un bâtiment composé d'une aile contemporaine et de l'hôtel de Clerjotte à Saint-Martin, ton seule une partie est ouverte au public. Le monument, qui date du XVe siècle a subi des transformations architecturales importantes au fil du temps et possède une magnifique tourelle d'angle gothique et des ailes Renaissance du XVIIe siècle.
L'édifice a par la suite une fonction militaire, jusqu'en 1949, puis cédé à la commune de Saint-Martin en 1955. C'est au début des années 1960 que le monument est transformé en musée, d'abord "musée de la Marine", puis "musée Cognacq".
Les jardins resplendissants du musée Ernest Cognacq ont été inaugurés le 13 octobre 2007 par l'association franco-américaine French Heritage Society. On y trouve notamment la statue de George Washington qui aurait été l'arrière-arrière-arrière petit-fils de Nicolas Martiau, protestant qui quitte l'île pour gagner les Amériques en 1620.