Как и у любого значимого и известного исторического места, у бывшей усадьбы купцов Асеевых есть свои легенды и интересные факты.

Бытует мнение, что усадьба Асеева была построена на месте бывшей заброшенной усадьбы Тамбовского коменданта Булдакова.

Кроме усадьбы Асеева в городе Тамбове, широко известна усадьба Арженка в пригороде Рассказово, также принадлежавшая роду Асеевых.

По сообщению общества «Мемориал» на территории парка тамбовского кардиологического санатория имеется захоронение времён большевистского террора.

В старинные времена, окрестности, прилегающие к территории занимаемой кардиологическим санаторием, назывались «Волчьей лощиной». Здесь, в непролазной лесной чаще орудовала шайка разбойников. Они нападали и грабили случайных путников. Своих жертв шайка жестоко мучила и убивала. Ходили слухи, что в Волчьей лощине водятся призраки загубленных разбойниками людей.

Ранее на месте современного дворца Асеева стоял большой деревянный жилой терем семьи Асеевых, выстроенный в стиле русского зодчества. Однажды после светского приёма один из гостей сказал Асееву: «Что это Вы, Михаил Васильевич, с такими богатствами, а живёте как простолюдин - в деревянном доме». В тот же вечер хозяин в приступе гнева дотла спалил своё жилище и приступил к постройке нового особняка из камня.

Уезжая из Тамбова и навсегда покидая Россию, в смутные времена гражданской войны, старик Асеев просто физически не мог забрать с собой всё своё богатство. Есть легенда, что часть своих сокровищ Асеевы припрятали на территории усадьбы.

В семидесятых годах в Советский Союз навестить историческую родину из США приезжал прямой потомок фабрикантов Асеевых. Американец, довольно обеспеченный человек, видя удручающее состояние фамильного гнезда рода Асеевых, предложил за свои деньги полностью восстановить и реконструировать усадьбу. Но при этом он поставил одно условие: В доме Асеева должен быть открыт музей, посвящённый купеческому роду Асеевых. Советская власть не согласилась.