Как военная крепость Рыльск продолжал играть свою роль до первых десятилетий XVIII века. Одновременно он приобретал все большее значение как один из важных пунктов торгово-экономических и культурных связей между Россией и Украиной. По указанию русского правительства, в городе были построены обширные гостиные дворы, содержались специальные отряды стрельцов для охраны товаров. Как и в других местах этого района, в Рыльске селилось много украинцев, бежавших от притеснений польских панов в западных областях Украины.
Из среды рыльского купечества вышел выдающийся русский мореплаватель и исследователь морских просторов Дальнего Востока Григорий Иванович Шелехов. В 1903 году на Красной площади в Рыльске ему был поставлен памятник. Средства на памятник собирались по всероссийской подписке. В 1928 году по недоразумению памятник был разобран. Однако здравый смысл, уважение к истории восторжествовали. В 1957 году по решению Совета Министров РСФСР памятник установлен вновь на площади Свердлова. Фигура отважного мореплавателя в парадном мундире морского офицера того времени высится во весь рост.
В Рыльске имеются два крупных по объемам и выразительности архитектурных памятника: на площади Свердлова высится Успенский собор, а на улице Ленина – Покровский собор. Стройные силуэты этих высотных зданий видны за десятки километров. На северо-восточной окраине города, на возвышенности, примыкающей к пойме правого берега Сейма, расположен Никольский монастырь. В городе также находится ряд интересных памятников гражданской архитектуры: три дома, связываемых с именем рыльского князя Василия Шемяки.
Давно известно, что восприятие архитектуры во многом зависит от ее окружения. Это окружение может «убивать» архитектуру, а может, наоборот, подчеркивать ее художественные достоинства. В небольших городах с преобладающей одно-двухэтажной застройкой, к тому же не блещущей особыми достоинствами, возвышающиеся культовые здания кажутся особенно величественными. Это замечание применительно и к памятникам Рыльска, тем более что они сами по себе наделены незаурядными художественными качествами.
В сквере при Доме пионеров, где раньше находилась городская площадь, сохранились три древних гражданских дома, которые по установившейся традиции связываются с именем рыльского князя Василия Шемяки. Фактических доказательств, что эти дома имеют какое-то отношение к князю, насколько нам известно, нет. Дома изучению не подвергались, точная их датировка не установлена, как не установлен и их первоначальный вид.
В Великую Отечественную войну Рыльск был временно оккупирован фашистскими захватчиками. Однако изгнание оккупантов в 1943 году было столь стремительным, что основные памятники истории и культуры не подверглись разрушению. Тем не менее время и нерадивое отношение делают свое дело; для дальнейшего сохранения этих памятников необходимы реставрационные работы или хотя бы неотложный ремонт.
Смена владельцев села Ивановского нашла свое яркое отражение в смене его застройки и архитектуры: вместо упрощенных провинциальных архитектурных форм начала XVIII века через сто лет был создан великолепный дворцово-парковый ансамбль. В своем первоначальном виде усадьба Барятинских Марьино в общих своих чертах напоминала великолепные подмосковные загородные усадьбы, такие, как Останкино и Кусково Шереметевых, Архангельское Юсуповых, и им подобные.
Мазепа любил архитектуру и строительство. Именно при нем на Украине было возведено много монументальных зданий, выдающихся по своей архитектуре. Время гетманства Ивана Мазепы было эрой процветания каменной архитектуры барокко на Украине. Надо думать, Мазепа понимал, что по своим художественным качествам и особенно в технике строительства русская архитектура той поры была более развитой и поэтому он охотно приглашал видных русских зодчих для строительства на Украине.
Марьинский ансамбль был закончен строительством в течение очень короткого срока – в 1815-1816 годах по проекту, по сути дела, неизвестного в России архитектора Карла Ивановича Гофмана. В строительстве ансамбля принимали участие и крепостные мастера-самоучки. Среди них отличался особой одаренностью кирпичных дел мастер Лаврентий Наседкин, которому в 1819 году даже был поставлен памятник-обелиск в этом же селе.
Надо отдать должное объемно-планировочной композиции Марьинского дворца; она не схожа ни с каким иным нам известным ансамблем дворцово-парковой архитектуры. Отличительной особенностью этой композиции является контраст объемов – мощного, монументального главного корпуса и пониженных, сложной конфигурации, боковых флигелей. Открытые лестницы и площадки заднего фасада дворца выходят в парк,и таким образом нарядная декоративная архитектура здания как бы сливается с природным окружением, растворяется в нем.