В последующие годы комплекс только расширялся, оставаясь в руках одной семьи – дочери А.А. Соловьёва – Марии Александровны и ее супруга Сергею Васильевичу Недыхляева. С сер. XIX в. эта территория вошла в состав единого комплекса: «Фабрика бумаготкацкая и красильная А.А. Соловьёва — М.А. Недыхляевой (Товарищество Киржачской мануфактуры).
Купцы Соловьёвы, а позже Недыхляевы заботились о благоустройстве фабрики и её социализации в пространстве города. На территории фабрики ими была построена часовня, казармы для рабочих, приемный покой, родильное отделение, бани, кузни и пр., а при въезде на фабрику – коновязи.