A pesar de su prosperidad, Panamá Viejo enfrentó diversos problemas como incendios, terremotos y ataques de piratas. El hecho más importante ocurrió en 1671, cuando el pirata inglés Henry Morgan atacó la ciudad. Durante la invasión, los españoles hicieron explotar parte de los depósitos de pólvora para evitar que el enemigo se apoderara de la ciudad, lo que provocó su destrucción. Después de este acontecimiento, las autoridades decidieron trasladar la ciudad a un lugar más seguro, aproximadamente ocho kilómetros al suroeste, donde hoy se encuentra el Casco Antiguo de la Ciudad de Panamá.