Con la crisis económica, la pequeña fortaleza que había en el barrio Alto se desmoronó poco a poco. Las condiciones económicas inferiores de los habitantes del barrio alto hizo que la emigración más a los jopones que a los jopiches, reduciéndose el número de miembros de la Hermandad del Carmen. Por otra parte el anticlericalismo del Gobierno Liberal redujo el poder de la Iglesia en Grazalema. EL pueblo había sido uno de los centros eclesiásticos más importantes de la provincia de Cádiz. En 1850 decía Madoz: "Cuenta Grazalema con una iglesia parroquial de término, servida por un cura, dos beneficiarios de real presentación en previo concurso, dos tenientes, y hasta treinta y cinco eclesiásticos, con otros varios dependientes " (1850:590).

A parte de esta iglesia parroquial, había en el pueblo tres iglesias más y dos ermitas, un hospicio, un hospital con monjas y un arcipreste que controlaba las iglesias del distrito. A mediados del Siglo XIX, los monjes Carmelitas pierden su poder económico debido a la Junta de Demolición promulgada por Mendizabal, y a la desamortización eclesiástica que puso en práctica el Gobierno Liberal. Empobrecida y sin el apoyo económico de los Carmelitas, la Hermandad de la Virgen del Carmen no podía pagar todos los gastos que implicaba la organización de las fiestas de la virgen y del toro, y en las últimas décadas del siglo XIX tuvo que pedir dinero al barrio bajo. Al participar en la compra del animal, los jopiches reclamaban a los jopones que el toro se corriera también en el barrio bajo. Esto creó una rivalidad enorme entre los dos barrios, ya que los jopones se oponían a tales medidas.

Los jopones, así son llamados los habitantes de la parte de arriba de la Pontezuela, fuente situada en la mitad del pueblo, promueven ruidosas competencias con los jopiches, o sea los vecinos restantes de la población, porque creyéndose dueños absolutos de la Virgen, y por tanto, de todos los festejos que se le atribuyan, no quieren dejar salir el toro de su barrio, en cuyo centro se halla la Iglesia de San José, morada de la celebrada imagen. Los jopiches, que abren sus bolsillos de la misma manera para costearlo, defienden enérgicamente sus incontestables derechos, obligando de cuando en cuando a sus contrincantes a que le dejen pasear por sus calles al toro".

Debido a razones económicas, el toro de la Virgen del Carmen comenzó también a correrse en territorio jopiche. La Virgen del Carmen era ahora paseada por las calles del barrio bajo. Las hermandades dejaron a un lado sus diferencias, y a la Hermandad del Carmen comenzó a aceptar jopiches como miembros; y, en general, los matrimonios y las relaciones sociales entre los dos barrios se incrementaron.