Собор Успения Пресвятой Богородицы расположен в центральной части города, на пересечении улиц К. Маркса и Свердлова. Собор был построен в архитектурных традициях зрелого классицизма на средства купца И. Ф. Филимонова в 1797-1811 годах.
Храм Покрова Пресвятой Богородицы возведен в 1822 году на средства купцов Севастиана и Федора Андрониковых. Храм относится к стилю позднего классицизма. Это один из немногих рыльских храмов, избежавших погромов после Октябрьской революции.
В конце XVIII века купец-миллионер фон Филимонов построил в Рыльске трехэтажный дом с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже дом отдали под духовное училище. Сегодня в этом здании размещается Рыльский аграрный техникум.