Le fazioni rivali dei Guelfi e dei Ghibellini, si contendevano il controllo della città, spesso con scontri cruenti. Nel 1321 i Ghibellini eleggono a loro Castruccio Castracani degli Antelminelli di Lucca, in quell’epoca già impegnato in Lunigiana ad assicurarsi territori strategicamente importanti.Arrivato a Pontremoli, Castruccio Castracani nel 1322 ordina la costruzione di un muro che divida le due fazioni: il muro correva dalla sponda sinistra del Verde a quella destra della Magra ed era difeso da due torri. Di queste quella centrale, la più grande, che ancora oggi svetta al centro della città, è stata rialzata e trasformata in torre campanaria. Quella sul Verde è stata invece demolita, mentre quella sulla Magra è tutt’oggi visibile.
Alla sommità del muro un camminamento, coperto da una struttura in legno, permetteva la ronda delle sentinelle per tutta la sua lunghezza. Nella cortina si apriva soltanto un arco con una porta, in corrispondenza dell’attuale passaggio stradale ai piedi della torre centrale: difeso da fossati e ponti levatoi, il passaggio veniva chiuso in caso di pericolo lasciando il borgo diviso in due parti. Alla metà del Cinquecento si cominciano a costruire le case addossate al muro e nella seconda metà del secolo iniziano gli interventi alla torre centrale, rialzata e traformata nell’attuale torre campanaria,il “campanone”.
La porta è stata demolita a metà del secolo scorso; il muro invece è tuttora visibile lungo un passaggio privato che conduce sulla Magra e in numerose abitazioni che in epoche successive gli sono state addossate sia a nord che a sud, conferendo l’attuale aspetto della città, con le due piazze.