Palazzo Olginati fronteggia Palazzo Giovio-Lucini sulla laterale via Balestra, e racchiude anch'esso preziose testimonianze archeologiche di età romana, e non solo. La progettazione è stata svolta in modo unitario con l'adiacente Palazzo Giovio-Lucini, con il quale costituisce un'unica offerta culturale, anche mediante un percorso di visita unitario, reso possibile da due passaggi pedonali in quota che sovrappassano la via Balestra. Le origini e la storia del Palazzo Olginati sono però differenti.