A escasa distancia de Hostel Albergue Ponte Sampaio se encuentra el Castillo de Soutomaior, una antigua fortaleza de origen medieval convertida en residencia de verano a finales del siglo XIX. Se supone la construcción de una primera torre de carácter defensivo durante el reinado de Alfonso XII, para proteger el territorio de incursiones por tierra y mar, además de controlar las comunicaciones norte-sur por la costa atlántica gallega. En el siglo XV entra en juego Pedro Madruga, uno de los protagonistas más importantes de la Historia, no sólo de Galicia sino de España, a quien se ha relacionado con la figura de Cristóbal Colón. Este caballero engrandeció la antigua estructura militar fortificando el entorno próximo. Se dice que fue la época de mayor esplendor del edificio como fortaleza.

Pero quien le ha dado el carácter palaciego que hoy podemos disfrutar fue el VIII Marqués de la Vega de Armijo que, como heredero del marquesado de Mos, se convierte en propietario del castillo a finales del siglo XIX, adaptándolo a residencia de verano.

Los campos de maíz que rodeaban el edificio fueron convertidos en jardines con estanques y fuentes ornamentales. Reconstruyó las partes arruinadas de la vieja estructura fortificada y levantó añadidos de gusto romántico, muy de la época. Hoy en día sus jardines son reconocidos a nivel internacional gracias al catálogo de especies botánicas que en él se cultivan, destacando la gran variedad de camelias. Tanto los jardines como el castillo son en la actualidad propiedad de la Diputación de Pontevedra que lo abre al público para las visitas tanto libres, guiadas o teatralizadas. Desde O Mesón llegarás en coche en pocos minutos, para disfrutar de este rincón de la historia de Galicia.