Открытие музея состоялось в 1938 году, но формирование собрания имеет более давнюю историю. Еще в начале ХХ века в Ростове-на-Дону было создано Ростово-Нахичеванское общество изящных искусств, на выставках которого экспонировались произведения художников из разных городов России, вошедшие затем в частные коллекции местных меценатов, а после революции, поступившие в музей.

С 1 мая 1920 года музей работал как Донской областной музей искусства и древностей, с 1927 — в составе краевого музея народов Северного Кавказа, в 1934-1936 не функционировал, с 1937 — на правах отдела Ростовского областного музея краеведения.

У истоков создания музея стояли художники М.С. Сарьян и Л.Д. Силин, писательница М.А. Шагинян. С первых лет существования музейная коллекция пополнялась экспонатами из центральных музеев страны — Третьяковской галереи, Эрмитажа, Русского музея.

В январе 1942 г. коллекция была эвакуирована в Пятигорск, где была разграблена немецкими войсками. В течение послевоенных лет некоторые из похищенных картин постепенно возвращались музею, но всю довоенную коллекцию так и не удалось восстановить. Вторично музей открылся в июне 1946 года, в отведенных для него комнатах Ростовского художественного училища имени М.Б. Грекова.

C 1958 г. занимает здание, построенное в 1898 г. по проекту архитектора Н.А. Дорошенко для известного адвоката А.П. Петрова.

В камерных залах с замечательной по красоте потолочной лепниной, в прошлом – жилых комнатах владельцев дома, разместилась постоянная экспозиция музея Раздел, посвященный древнерусскому искусству, представлен иконами московской школы живописи позднего периода ХVI- ХVII вв., иконописи ХVIII-ХIХ вв., собранными во время экспедиций по деревням средней полосы России, близ г. Владимира и коллекцией «северных писем» из Архангельской области, собранных в 1950-е гг. ростовским архитектором Пьянковым.

Коллекция произведений русского искусства занимает в собрании ведущее место. В залах музея можно увидеть работы известных мастеров ХVIII-ХХ столетий: А. Антропова, К. Брюллова, И. Репина, И. Крамского, В. Сурикова, И. Айвазовского, И. Левитана. В музее имеется очень целостная коллекция произведений К. Коровина из 9 работ, созданных в период расцвета его творчества.

В отделе искусства ХХ века представлены произведения Ю. Пименова, Г. Нисского, А. и С. Ткачевых, А. Лактионова, И. Машкова, Л. Стуканова, В. Вейсберга, Т. Теряева, В. Кошлякова, А. Тер-Оганьяна и многих других. Большое место в фондах музея занимают работы донских художников.

В настоящее время музей занимает два здания: одно из них расположено в историческом центре, на одной из красивейших улиц города – Пушкинской. Старинный особняк за ажурной оградой был построен в 1898 г. известным ростовским архитектором Н.А.Дорошенко и до революции принадлежал юристу Управления Владикавказской железной дороги А.А.Петрову.

В 2009 году завершилась реконструкция отдела музея -Детской художественной галереи (пр.Чехова, 60). Были открыты залы западно-европейского искусства и зал, предназначенный для сменных выставок современного искусства. Коллекция зарубежного искусства отражает основные процессы развития искусства XVII-XIX вв. в странах Западной Европы. В его фондах представлены все основные европейские школы этого периода: итальянская, голландская, фламандская, французская, немецкая. Среди них - произведения караваджиста М. Прети, венецианца Дж. Карпионе. Украшает коллекцию полотно мастерской П.П. Рубенса. Интересны произведения французских художников XVII в. Ж.Ф. де Труа "Пейзаж с фигурами", А. Пена и др.

В открытом хранении находится искусство народов Востока, представленное такими произведениями, как фарфор, резная кость, табакерки Китая XVIII века, редкие лубки и японские нэцкэ. Украшением восточной коллекции служат две каменные скульптуры близнецов-небожителей, датируемые XII столетием.

Весь четвертый этаж занимают отдел хранения и реставрационная мастерская.