Первая деревянная кладбищенская церковь во имя Воздвижения Честного Креста Господня была основана на кладбище в 1771 году. В народе церковь получила название Крестовоздвиженской или Воздвиженской. От названия церкви произошло название тамбовского Воздвиженского кладбища.

В 1818 году вследствие ветхости было принято решение о сломе старой деревянной церкви и постройки на её месте новой каменной. Новая Крестовоздвиженская церковь была выстроена в короткий срок из камня на деньги богатых тамбовских купцов Толмачёва и Ситнева. В начале XX века на средства тамбовского купца А.Е. Болдырева в церкви была проведена капитальная реконструкция, известным козловским мастером иконописи Юрьевым была выполнена роспись стен в стиле В.М. Васнецова. В 1938 году по решению советских властей Воздвиженская церковь была закрыта и в скором времени разрушена.

Сейчас на месте бывшей церкви располагается небольшой сквер перед входом на тамбовское мемориальное Воздвиженское кладбище. В 2004 году на территории сквера была построена часовня-памятник во имя Святого Георгия Победоносца. Ежегодно в день памяти воинам, погибшим при боевых действиях в Чечне, у часовни проходят памятные мероприятия.

В 1801 году у южной стороны алтарной части Крестовоздвиженской церкви была похоронена святая преподобная Марфа Тамбовская. С момента похорон и до самого разрушения храма, её захоронение было местом большого почитания и постоянного паломничества. Камень на её могиле, выполненный в виде церкви, считался чудодейственным, ему приписывались многочисленные чудесные исцеления. После разрушения храма в XX веке могила святой Марфы была утрачена.