La tradizione vuole che nell’XI secolo Matilde di Canossa abbia fatto erigere una torre chiamata, appunto, il Mastio di Matilde, per difendere e sorvegliare la costa.
Nel XIV secolo fu costruita una fortificazione di pianta quadrata attorno alla torre, la cosiddetta Quadratura dei Pisani, posta a sua difesa. Successivamente, nel 1505, Antonio da Sangallo il Vecchio, su commissione del cardinale Giulio de’ Medici, progettò una nuova ed ulteriore fortificazione, che comprendesse al suo interno la Torre e la Quadratura.
La Fortezza si presenta con una pianta pentagonale, ha possenti mura in laterizio ed è circondata, eccetto un lato che si presenta interrato, dai Fossi Medicei, i canali navigabili che attraversano il centro storico della città.
Durante l’invasione napoleonica nel 1796 i bastioni vennero in gran parte ristrutturati dai soldati francesi, e vi furono inserite fenditure per le bocche da fuoco.
La Fortezza fu gravemente danneggiata in seguito ai bombardamenti del 1943, che provocarono una crepa di grandi dimensioni nella cortina muraria.
