Edificado na vertente sul, a meio da encosta da serra da Arrábida, como que metido numa concha, o convento debruça-se sobre o mar, num lugar privilegiado de grande tranquilidade, de contacto com a natureza e de uma excepcional beleza paisagística.

Construído no século XVI, abrange ao longo dos seus 25 hectares, o Convento Velho, situado na parte mais elevada da serra, o Convento Novo, localizado a meia encosta, o Jardim e o Santuário do Bom Jesus e ainda, adjacentes ao convento, mas autónomos, os aposentos do duque de Aveiro e as casas onde eram alojados os peregrinos.

No alto da serra, as quatro capelas, o conjunto de guaritas de veneração dos mistérios da Paixão de Cristo e algumas celas escavadas nas rochas formam aquilo a que convencionou chamar-se o Convento Velho. O Convento Novo, o edifício principal a meio da encosta, dispõe de 27 celas, igreja, seis capelas, livraria, refeitório, cozinha, torre de relógio, casa de lavagem e vários fontanários. A água das fontes continua a ser captada em minas, segundo o sistema hidráulico implantado pelos franciscanos.

O Convento foi fundado em 1542 por Frei Martinho de Santa Maria, franciscano castelhano a quem D. João de Lencastre (1501-1571), primeiro duque de Aveiro, cedeu as terras. Anterior à construção, existia onde é hoje o Convento Velho, a Ermida da Memória, local de grandes romarias, junto da qual, durante dois anos, viveram, em celas escavadas nas rochas, os primeiros quatro religiosos arrábidos: Frei Martinho de Santa Maria, Frei Diogo de Lisboa, Frei Francisco Pedraita e São Pedro de Âlcantara. De arquitectura austera, o convento é praticamente desprovido de ornamentos. No seu interior, destacam-se apenas, de onde em onde, esculturas de santos e Cristos, de terracota e de madeira, colocadas em nichos, os azulejos que ornam as capelas, e ainda os embrechados compostos de pedrinhas misturadas com conchas e cacos de faiança e usados na decoração de fontes, paredes, muros e capelas. Assinalem-se ainda peças escultóricas de cerâmica e de madeira, cantarias e lajedos, tectos pintados e uma talha dourada. D. Jorge de Lencastre, filho do 1º duque de Aveiro, continuou as obras mandando construir uma cerca para vedar a área do convento. Mais tarde, seu primo D. Álvaro, mandou edificar a hospedaria que lhe servia de alojamento e projectou as guaritas, na crista do monte, que ligam o convento ao sopé da montanha, deixando, no entanto, três por acabar. Por sua vez, D. Ana Manique de Lara, viúva do duque de Torres Novas e nora de D. Álvaro, mandou construir duas capelas, enquanto o filho de D. Álvaro, D. António de Lencastre, mandou edificar, em 1650, o Santuário do Bom Jesus. Com a extinção das ordens religiosas em 1834, o convento, as celas e as capelas dispersas pela serrania sofreram várias pilhagens e enormes estragos causados pelo abandono. Em 1863, a Casa de Palmela adquiriu o convento mas as obras só começaram no século seguinte, nas décadas de 40 e 50.

Quarenta anos depois, em 1990, o seu então proprietário optou por vender o convento e a área envolvente, num total de 25 hectares, à Fundação Oriente, a única instituição, que, em seu entender, dava garantias de manter os mesmos valores com que, no século XVI, os seus antepassados o entregaram aos arrábidos.