Несколько больших зданий в Рыльске построил купец-миллионер фон Филимонов. Одним из ранних его строений является жилой дом по улице Ленина. В конце XVIII века он начал строить трехэтажный дом с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже этот жилой дом отдали под духовное училище. В начале XX века к зданию был пристроен большой корпус в другом архитектурном стиле, теперь старая часть резко отличается от поздней пристройки.
В настоящее время в этом здании размещается Рыльский аграрный техникум.