En la gobernación de La Florida sucedieron a Pedro Menéndez de Avilés otros notables asturianos: Hernando de Miranda, Pedro Menéndez Marqués, Gutierre de Miranda, Rodrigo de Junco, Rodrigo Martínez de Avendaño, Alonso Alvarez de Ron y Gonzalo Méndez de Cancio, este último, introductor del maíz en Asturias (que llevo en dos arcas he hizo plantar en las tierras de su propiedad en Tapia de Casariego). Fue renombrada su hazaña antes de ser gobernador, cuando logró hundir varios navíos del entonces corsario mas temido y presente en mas de una ocasión en la historia de San Agustín, el inglés Francis Drake. Posteriormente, durante su mandato, hubo de hacer frente al levantamiento de los indígenas soliviantado por los hugonotes franceses.
Contaba San Agustín entonces con un fuerte de madera. De este mismo material se fueron edificando nueve, uno tras otro, hasta que el saqueo de la ciudad por los corsarios en 1668 y la fundación de Charleston en Carolina en 1670 demostraron la creciente pujanza de los ingleses y por consiguiente la necesidad de mejorar las defensas de San Agustín.
Se comenzó entonces la construcción del Castillo de San Marcos (1672) utilizando un tipo de piedra natural de la florida llamada "coquina", compuesta por conchas de pequeños moluscos y arena, ambas aglutinadas por la cal de las conchas.
Después de 23 años de trabajo, la fortificación quedó terminada, teniendo su primera prueba importante en 1702, al sitiar los ingleses San Agustín por espacio de 50 días, refugiándose sus habitantes en el castillo, sin lograr los cañones enemigos abrir brecha. La llegada de tropas de apoyo españolas procedentes de La Habana obligó a los ingleses a retirarse, no sin antes incendiar la ciudad. Solo el castillo escapó a las llamas, convirtiéndose en el eslabón simbólico que une el San Agustín del siglo XVI con el San Agustín que surgió de las cenizas.
En 1740 los británicos de Carolina y Georgia sitiaron nuevamente la ciudad. Los españoles les asestaron entonces un golpe decisivo al derrotar a la compañía de los Highlanders escoceses en la acción más sangrienta del asedio. El enemigo bombardeó la ciudad durante 27 días pero sin causar daños graves. A los 38 días los británicos por temor a que la temporada de huracanes hiciese peligrar sus buques se retiraron.
En 1762 España entró en la guerra de los Siete Años, perdiendo en ella La Habana. En San Agustín se comenzaron entonces a reforzar las defensas sustituyendo el rebellín del castillo por otro más grande, que no se terminó por la noticia al año siguiente de que La Florida había sido cedida a los ingleses a cambio de La Habana.
Durante los años venideros muchos colonos españoles tomarían la decisión de trasladarse a las posesiones españolas cercanas, principalmente a Cuba, ya que el cambio en los hábitos, costumbres, religión ...etc. fueron muy radicales. Otros mantuvieron viva la esperanza de recobrar la soberanía en la península y permanecieron en sus tierras.
Esta se mantuvo en manos británicas durante 21 años. En este periodo estalla la guerra de la independencia norteamericana, manteniéndose los ingleses de La Florida leales a su rey. Mientras españa prestaba su ayuda a los americanos.
La Conquista de la zona occidental de La Florida por fuerzas españolas mandadas por Bernardo de Gálvez, gobernador de Luisiana, aseguró la devolución de todo el territorio en la paz de 1783.
San Agustín permaneció bajo soberanía española hasta 1821, año en que por común acuerdo se transfirió Florida a los Estados Unidos de América.