Pero un elemento primordial para comprender el nacimiento de esta congregación en torno a San José, será sin duda el co-patronazgo que tenía su santo titular sobre la población. Para ello hay que remontarse hasta 1766, año este en que se crea el consistorio municipal. En el primer cabildo se señala que no existe patrón para esta nueva localidad. Anteriormente, en ese mismo paraje se tenían por patronos a San Servando y San Germán, que ya lo eran de Cádiz. Se acuerda entonces realizar un cabildo entre los vecinos, en el cual sale elegido por una mayoría aplastante el Señor San José. Empero, algunos miembros del clero, de naturaleza gaditana, no miraban con buenos ojos al nuevo patrón y sí querían a los anteriores. Es ésta la primera polémica espiritual de cara a la segregación respecto a Cádiz y los hechos son los siguientes: el 27 de febrero de 1766 el cabildo municipal recoge que por "Hallarse el Pueblo sin Patrono tutelar como lo tienen todos los del Reyno, y que esto sin nota no puede subsistir haviendose dignado S.M. erijir Ayuntamiento [...]. Acordaron de una comformd. que para. dho. fin de nombrar Patrono tutelar como esprecivo, se sirva el Sr. Alcaldemayor, citar á cavildo, el dia qe. tenga por conveniente, bajo las formalidades necesarias, para que en el se resuelva lo mas conducente en esta razon."

En el cabildo municipal de 15 de marzo se dice que para la elección de patrono hay un decreto de la sagrada congregación de rito , de 23 de marzo de 1630, por el cual se indica que uno de los requisitos para este nombramiento es que sea por voto secreto y convocando el día anterior al pueblo a cabildo general. Acordándose entonces que el sufragio se realice el jueves próximo.

Será el día 20 de marzo, cuando el consejo de justicia y regimiento se encuentran en la escribanía pública para nombrar al patrón tutelar. Allí se dice que se publicó el día anterior por el pregonero: que todas las personas que acudiesen traigan por escrito en una cédula el nombre del santo al que inclinan sus votos. Estas papeletas se recogieron en una canastilla puesta en la mesa capitular preparada para el efecto. El recuento de ellos se hace leyéndolos el escribano y luego el alcalde mayor quien los va poniendo en otra canastilla contándose y apartándose dobladas, verificándose haber 297 papeletas en las que se nombraba por Patrono titular al Patriarca Señor San Joseph; 7 en que se nombra por patrono a San Juan Nepomuceno; y 1 en que se pedía por patrono a San José y por co-patrono a San Juan Nepomuceno. La polémica viene cuando se lee el voto emitido por D. Juan Abollado, vicario general de la villa, quien exponía "[...] en atencion â la memoria qe. debe tener este Pueblo a los Santos, San Serbando y Sn. Jermano pr. haber padecido en el su martirio; es el voto de dho. Sr., el que sean Patronos; y en caso que se elija Patrono, votaba y votó por el santo â quien la maior parte de los vocales elija".

El resultado fue de una aplastante victoria para el bendito patriarca Señor San José, pero ¿iba el poder espiritual, asentado en la población, de naturaleza gaditana, y que no había visto bien el proceso de segregación de la isla respecto a Cádiz a aceptar este resultado?.

Todo parece indicarnos que el Padre Tadeo Aragón Abollado está dispuesto a agarrarse a todo antes de permitir este nuevo patronazgo. En efecto, se indica que en la secretaría de la sagrada congregación de Ritos, sita en Roma, no se ha incluido el consenso del clero secular y regular que reside en la Isla. Para ello el padre Tadeo cita por medio de una cédula a Junta a estos miembros para que den su voto en secreto. Estos miembros son del clero secular de la iglesia mayor y del clero regular de la iglesia del Carmen, y de la de San Francisco. El número de miembros que asisten es de ocho, y el resultado que arroja el escrutinio es de un empate: cuatro votos a favor de San José y otros cuatro a favor de San Servando y San Germán. Ante la persistencia del problema, el padre Tadeo, como vicario general de la isla, pide en esa misma Junta que como el resultado no solucionaba nada que se realizaría posteriormente otra junta donde se votaría de nuevo, pero esta vez para deshacer el empate se invitaba a concurrir a otro eclesiástico, a D. Francisco Antonio Petite.

En 28 de septiembre de 1767, el cabildo municipal manda una carta al titular de la mitra gaditana, el Ilmo. Fray Tomás del Valle, donde indica: "[...]con el Pe. Vicario de esta dicha Villa y habiendo sacado los votos empatados parece intentar celebrar otro Acuerdo pa cuyo fin se nota haber venido un eclesiastico que no cree este Ayuntamiento tenga accion a votar en dicho Cabildo [...] parece es empeño del referido Dn. Thadeo no salga el Patronato que esta Villa solicita."

Dos días más tarde, otra nueva misiva para el prelado diocesano, pero esta vez enviada por el padre Tadeo, quien aparte de reconocer su voto hacia San Servando y San German culpa al consistoria de "una falsa impostura, y una presunsion infundada, quanto exponen que yo tengo empeño en que no salga el patronato que la Villa solicita, y sí otro pues hasiendose el escrutinio por votos secretos cada uno de los eclesiásticos ha votado a su advitrio". Hay un notable defecto de arrogancia en este personaje cuando continua en su carta diciendo: "sin que se pueda justificar [...] para que voten a mi contemplación, y me hubiera sido facil el conseguirlosi como expone el alcalde maior tuviera yo empeño en la materia y en prueba de esto siendo uno de los votos a favor del Señor San Joseph, el del Beneficiado de esta Iglesia".

El 25 de abril de 1768 se le notifica al procurador síndico personero, D. Nicolás Navarro, por medio del escribano público no haber llegado aún a la secretaría de la Sagrada Congregación de Ritos el consenso o no del clero de la Villa, acordándose escribir al Ilustrísimo señor obispo para que apure el paradero de los documentos sobre el patronazgo.

En el cabildo municipal de 14 de mayo de 1768 el secretario municipal lee una carta remitida por el prelado con una nota remitida al dependiente de la Sagrada Congregación de Ritos, que acredita hallarse en aquel tribunal los documentos pertenecientes al nombramiento de patrono.
Será en 27 de noviembre de 1769, cuando se lee en asamblea municipal un documento en latín que lo dirige la Sagrada Congregación de Ritos, donde se declaraba por patrono menor (o co-patrono)de esta Villa, al patriarca señor San José. Destacando el Ayuntamiento el celo que ha demostrado el Sindico personero, Nicolás Navarro, en esta santa solicitud.