На цьому місці знаходився замок про який є згадки в літописах 1434 року, коли Хмільник відійшов до Польщі. У 18 сторіччі замок втратив стратегічне значення, та пізніше був розібраний при будівництві палацу, наразі від нього залишилася одна башта яка зараз використовується як приміщення краєзнавчого музею.

Російський дворянин Костянтин Ксідо прибув в кінці 19 століття в чині офіцера у Хмільник на службу в батальйон Казанського піхотного полку, який придушував Кармелюкові постання подільських селян. Він був досить бідною людиною і за порадою він зробив пропозицію немолодій графині Лєвашовій яка ж до цього була ще глухоніма, але яка обдарувала його титулом та своїми грошами, за які він побудував родинний замок у Хмільнику.

Двоповерховий палац був побудований відомим російським архітектором Іваном Олександровичем Фоміним у стилі неокласицизму із варіаціями епохи відродження. Цікаво що палац побудований на фундаменті колишнього замку. Північний фасад палацу обрамлений кам'яною плиткою, яка складає враження дикого каменю і має великий контраст с парадним входом, який виглядає наче маленький "Білий дім".

Палац будували в період з 1911 по 1915 рік після чого будівництво було призупинено через початок першої світової війни, та у 1917 році від'їзд власників до Константинополя. Багато нарисів та ідей Фоміна так і не були реалізовані.

У період радянського союзу палац використовували як: аграрну школу, електротехнічну школу, управління НКВС, а в кінці навіть як готель.