Краеведческий музей в городе Рассказово был основан в 1974 году как народный краеведческий музей на общественных началах. Поскольку с середины XVIII века жизнь большинства жителей города была тесно связана с текстильным производством, особое внимание уделялось экспонатам, связанным с этой отраслью. Они стали отличительной и привлекательной частью музейной коллекции.

В 1982 году музей получил новое название, «Музей истории ткачества и текстильной промышленности города Рассказово». В 1999 году он переехал в старинное двухэтажное здание XIX века, принадлежавшее купцу Ивану Николаевичу Желтову, владельцу крупного кожевенного производства. Семья Желтовых оставила значительный след в истории города. Первые представители этого рода появились в Рассказово на рубеже XVIII и XIX веков. Хотя о них известно немного, предполагается, что они были выходцами из нижегородских имений графа Шереметьева. В 1863 году братья Желтовы основали суконную фабрику, которая к 1896 году имела годовой оборот в 300 тысяч рублей. Следуя духу времени, Желтовы активно занимались благотворительностью, открыли при фабрике приемный покой и жертвовали средства в фонды родильных приютов и училищ.

Сегодня в музее представлены постоянные и временные экспозиции. Особый интерес вызывают выставки, посвященные предметам крестьянского и купеческого быта, а также церковному убранству.