An der Stelle Portoferraios gibt es seit Jahrtausenden menschliche Siedlungen, die früher von Etruskern, Liguriern und Griechen dominiert waren, bevor sie schließlich zu einem Teil des Römischen Reiches wurden. Der heutige Ort wurde von Cosimo dei Medici als „Cosmopoli“ gegründet. Die die Stadt prägenden Befestigungsanlagen wurden ab dem Jahr 1548 gebaut. Sie bestehen aus den Burgen Falcone, Stella und Linguella, die mit einer Mauer verbunden sind. Am 4. Mai 1814 landete Napoleon Bonaparte auf Elba, welcher dorthin ins Exil verbannt wurde. Er erwählte Portoferraio als Hauptstadt der Insel Elba und errichtete dort seine Winterresidenz. Er begann mit umfangreichen Reformtätigkeiten, verließ die Insel aber bereits am 1. März 1815 wieder.

In und um Portoferraio sind einige Sehenswürdigkeiten zu bewundern wie: Wohnsitz Napoleon's "Villa dei Mulini", das Archäologische Museum, die Pinakothek des Foresi "Pinacoteca Foresiana", die Kirche "Chiesa della Misericordia", die Festungen "Forte Falcone" und "Forte Stella". Gegenüber der Darsena, befindet sich das Stadttor "Porta a Mare" (das Tor zum Meer), der Eingang zum Altstadtzentrum des Ortes, das lädt zum Bummel in einer nette Athmosphere ein. Mehrere Einkaufmöglichkeiten genauso wie Restaurant/Pizzerias sind in ummittelbarer Nähe gegeben.