На настоящем месте устроен в 1625 г. по грамоте «великой старицы Марфы Иоановны» (мать царя Михаила Федоровича). Первый храм Вышенской пустыни был построен во имя Успения Пресвятой Богородицы в 1761 году. 7 мая 1827 года в обитель пожертвована Чудотворная икона Казанской Божией Матери. Для иконы был воздвигнут летний собор Казанской Божией Матери (1832-1844г.г.). В 1886 году в обитель прибыл Святитель Феофан. Он полюбил здешние места. «Вышу можно променять только на Царство Небесное» - пишет он в письмах. Собор во имя Рождества Христова освящен в 1890 году.