La vita documentata di questa località risale al XII secolo, sebbene l'intervento umano sull'isola sia antecedente e si estendesse su un'area più ampia dell'attuale.
Nell'ultimo periodo del dogado di Piero Polani (1130-1148) venne edificato un ospizio dedicato a San Giacomo. Successivamente assegnato alle monache Cistercensi (1238), questo verrà trasformato in monastero sviluppando la struttura edilizia e relazionandola al nuovo uso. E' questo un periodo relativamente fecondo per l'isola, nel quale accanto alle trasformazioni edilizie l'isola assume, in virtù della sua ubicazione, un ruolo importante quale ricovero e tappa del traffico lagunare gravitante sul Sile e sul Piave.
Nel 1400, tuttavia, le religiose dell'ordine cistercense abbandonarono definitivamente l'isola e si trasferirono nel vicino monastero di S. Margherita di Torcello.
Nel corso degli anni successivi, constatato il progressivo declino ed il degrado, S. Giacomo in P. venne assegnata ai minori francescani della "Casa Grande" di Santa Maria Gloriosa dei Frari. In essa venne così conservata la vocazione originaria e gli occupanti ne salvaguardarono l'integrità.
E' in questa fase che avvenne la ricostruzione della chiesetta di San Giacomo, poi restaurata nel secolo successivo, le cui immagini sono tramandate dai disegni e dalle incisioni del '600-'700 e la cui descrizione ci perviene dal Coronelli.
Nel corso del '700 il degrado dell'isola, già anticipato dalle descrizioni del Coronelli, divenne manifesto, allorché venne sollecitato dai Minori Conventuale il restauro della pubblica cavana e delle arginature.
Nel corso dei secoli l'isola, fortemente colpita dal moto ondoso del vento di nord-est, ha subito innalzamenti ed ampliamenti atti a rinforzare le arginature.
Agli inizi del 1800, in ossequio ai decreti napoleonici sugli ordini religiosi, il convento dei Frari fu soppresso; l'isola di San Giacomo venne a rientrare di conseguenza sotto la giurisdizione del Demanio, che la diede in concessione all'amministrazione militare.
I preesistenti edifici furono tutti demoliti, fatta eccezione per la cavana settecentesca. Inizia qui una nuova storia in cui l'isola, al pari di altre nella Laguna Veneta, verrà utilizzata saltuariamente quale caserma, quindi trasformata in piazzaforte ed infine in deposito di polveri e materiali militari, uso quest'ultimo, mantenuto fino al definitivo abbandono nel 1961.