Construída, no século XVI, com a finalidade de defender o porto da Vila de Santos, está localizada a poucos metros da estação das barcas do Distrito de Vicente de Carvalho. Praticamente inexistem registros sobre a data de sua construção. Supõe-se que já existisse na metade do século XVI e, em 1638, o Comandante Torquato Teixeira de Carvalho mandou reconstruí-la. Foi armada com oito peças de artilharia. Era a terceira muralha fortificada construída na região. O historiador José da Costa e Silva Sobrinho informa que o nome original era Fortim do Pinhão de Vera Cruz.

Por ..:: Renato Marchesini: Historiador com pós-graduações em História do Brasil (Contemporânea, Indígena e Afro-brasileira), História da América, Arqueologia e Patrimônio.

A Fortaleza foi edificada sobre a única rocha do lado esquerdo do estuário, dentro de extensa área de várzea que integra o Distrito de Vicente de Carvalho. Foi levantada em cima das rochas, com blocos grandes de pedras unidas por mistura de óleo de baleia e cal de sambaqui, à flor d´água, com o intuito de defender a margem oriental do estuário; de sua muralha avista-se toda a Vila de Santos, protegendo-a dos invasores, é o que destaca documento do século XVII, incluindo a Fortaleza como importante praça militar no mapa da Capitania de São Vicente. Como todos os fortins e fortalezas do Brasil, a Fortaleza do Itapema também passou por sucessivas épocas de abandono, reconstruções e reformas.

Em 1670, seu capitão era o paulista ilustre Pedro Taques de Almeida, que executou sua primeira ampliação. Entre 1735 e 1738, a Fortaleza foi novamente reconstruída e aparelhada com artilharia de grosso calibre. Em 1836, o marechal Daniel Pedro Müller relata que a Fortaleza tinha uma guarnição e um oficial. Os últimos canhões que se viram sobre a muralha em defesa do estuário datam de 1850.

Em 1883, a Fortaleza sofreu violento incêndio, que a deixou totalmente arruinada. Ainda no século passado, a Intendência Geral da Guerra entregou-a aos cuidados da Alfândega de Santos, que, em 1908, mandou construir um posto de fiscalização, com uma torre dotada de holofotes, para melhor iluminação do estuário e combate ao contrabando. Essas instalações foram totalmente destruídas por um incêndio em 1976. Hoje estão no local depósitos, laboratórios e garagem de barcos da Receita Federal.