Il Palazzo fu costruito su commissione della famiglia Razzi alla fine del 1500 ma, per motivi economici, la famiglia Torriani subentrò al possesso del palazzo. Questa famiglia, originaria di Milano, nel 1650 circa terminò i lavori di costruzioni del maestoso palazzo dove tutt’oggi risiede.
Sul grande portone d’ingresso è posto l’elegante stemma dei Torriani, realizzato in pietra arenaria e raffigurante una torre e due leoni. Gli interni del palazzo conservano all’interno delle pregevoli decorazioni in stile Liberty di Galileo Chini risalenti ai primi anni del XX secolo, e un’opera pittorica di Silvestro Lega. Nonostante l’usura e le vicissitudini legate alla Seconda Guerra Mondiale, Palazzo Torriani è tornato oggi agli antichi splendori grazie agli interventi di restauro che hanno trasformato l’edificio in una elegante residenza d’epoca.