Два примыкающих друг к другу дворца были построены для семейства Барбаро. Первый из двух дворцов был построен в готическом стиле в 1425 году, архитектор Джованни Бон. Второй, в стиле барокко был спроектирован в 1694 году архитектором Антонио Гаспари. В конце XIX — начале XX веков в старый палаццо приезжало много известных личностей. Среди гостей семьи американских миллионеров Кертисов из Бостона были Роберт Браунинг, Клод Моне, Джон Сингер Сарджент, Джеймс Уистлер. А писатель Генри Джеймс написал в этом доме свое произведение «Бумаги Асперна».