L'edificio è situato sul lato est di Piazza XX Settembre, la parte
più antica, sorse per volere di Galeotto I Malatesta dopo il 1357,
anno in cui divenne Vicario Apostolico, e di fatto Signore, di Fano.
La parte più recente, oggi sede di Pinacoteca e Museo Civico, fu fatta erigere da Pandolfo III Malatesta fra il 1413 ed il 1423.
Non ancora giudicato