Археологические раскопки на горе Иоанна Рыльского свидетельствуют, что поселение на месте города Рыльск существовало задолго до XII века. Именно на этой горе был зарождён современный Рыльск.
В Рыльске была и старообрядческая церковь, построенная в 1737 году, называлась она Покровской, затем Благословенной. В 1910 году рядом с ней была возведена колокольня - всё, что осталось от Покровской церкви до наших дней.
Храм Покрова Пресвятой Богородицы возведен в 1822 году на средства купцов Севастиана и Федора Андрониковых. Храм относится к стилю позднего классицизма. Это один из немногих рыльских храмов, избежавших погромов после Октябрьской революции.
Дом фон-Филимонова в Рыльске - великолепное здание по типу столичных дворянских особняков, построенное купцом-миллионером фон-Филимоновым. Архитектор - Карл Фридрихович Шольц. В настоящее время в доме Филимоновых находится Детская школа искусств.
Город Рыльск является родиной "Российского Колумба" - исследователя, мореплавателя, промышленника и купца Григория Ивановича Шелихова. Знаменитому земляку установлен памятник у входа в городской парк имени Горького.