Воронежский дворец был возведен в 1777–1779 годах в стиле барокко для губернатора генерал-поручика Потапова. За жилым домом располагался небольшой дворик, который переходил в парк. После смерти первого хозяина владельцы здания часто сменялись, а в начале XX века собственником стала городская администрация, по решению которой были проведены реставрационные работы для организации в этом помещении музея.
С 1959 года зданием завладел музей изобразительных искусств. К дворцу с тыльной стороны был пристроен выставочный зал, что лишило людей возможности посмотреть на задний фасад здания, который декорирован боковыми ризалитами. А в конце XX века здесь провели реставрационные работы, благодаря которым строение вновь стало выглядеть величественно, наподобие санкт-петербургского дворца.
Для отделки первого этажа использовался крупный руст. Два верхних этажа объединяются ионическими колоннами, поддерживающими карниз и примыкающими к стене в центре фасада, который увенчан фронтоном. Внимание привлекают высокие окна на втором этаже, над которыми располагаются лепные барельефы, изображающие оружие различных времен. Для украшения боковых стен использовались треугольные фронтоны, лепные гирлянды.