Porto Azzurro nasce come presidio spagnolo con la precisa volontà di creare una zona fortificata. Fino al 1947 conservò l’originario nome di Porto Longone. Durante i primi anni del 1600 ha inizio la costruzione della possente Fortezza San Giacomo (ad opera degli Spagnoli per competizione con il Granducato Mediceo che possedeva Portoferraio) con pianta a forma di stella che ha come modello il Forte di Anversa. Anticamente l’interno della fortezza ospitava il palazzo del governatore, tre polveriere, un’armeria, gli alloggi delle guarnigioni, alcuni magazzini, un ospedale ed un mulino a vento nonché due piccole chiese. Dalla fine del 1890 il forte è adibito a penitenziario. Meta di particolare interesse è il santuario della Madonna di Monserrato, costruita  fra il 1603 ed il 1606 a due chilometri dal paese, fu voluta dal Governatore spagnolo in ricordo del famoso Santuario di Montserrat nelle vicinanze di Barcellona. La Madonna fu sempre venerata da tutti, dai militari in servizio alla Fortezza, dagli abitanti della "marina", dai pescatori, dagli agricoltori e diventò un luogo di culto e preghiera per tutta l' Isola d'Elba. Un gruppo di Monaci si instaurò nel Santuario di  Monserrato e si impegnò della sua custodia pensando nel Settecento ad un suo ampliamento. Oltre la Chiesina della Madonna, vera e propria, furono costruiti sul retro locali dormitori, cucine e stalle per far mangiare e vivere i Monaci e gli animali domestici. Durante gli itinerari dei viaggi di gruppo Elba, viene spesso effettuata una sosta in paese, caratteristico e curato borgo marinaro. La Piccola Miniera, nei pressi del paese, è un ambiente che riproduce fedelmente l’interno di una tipica miniera, con tanto di macchinari dell’epoca, reperti storici, grossi minerali e aree dedicate ai momenti di pausa dei lavoratori. Il percorso viene effettuato su di un trenino e dura circa un quarto d’ora. Dopo la gita sul trenino si può visitare anche il Laboratorio di pietre dure dove vengono realizzati splendidi monili, la Mostra di minerali con un vasto assortimento di pietre, il Museo Minerario Etrusco che si propone di valorizzare l’importanza della presenza etrusca all’isola d’Elba ed il Museo Cites che è un’esposizione di reperti di animali protetti secondo la Convenzione di Washington.