Construíuse entre 1695 e 1714 de acordo coas pautas do barroco internacional e, posiblemente, segundo os planos trazados en Roma, adaptados a fórmulas de tradición local. Na súa orixe foi sede do colexio da Compañía de Xesús, a carón da súa igrexa, a actual parroquia de San Bartolomeu. Jorge de Andrade, o facendado sacerdote establecido en Perú, favoreceu a súa construción, auspiciada polo Concello, para reunir nun único centro os estudos existentes na -daquela- vila, que creara unha fundación establecida en 1644. Do seu padroado formaban parte tamén os Mosquera, os Villar y Pimentel, os Guimarey e os marqueses de Aranda.

Na parte exterior, pola rúa Sarmiento, o edificio presenta unha longa fachada de cantería que consta de baixo e un andar, cun portalón alintelado no ángulo máis próximo á igrexa, decorado con placas e pilastras, sobre o que figura o escudo de armas. No interior destacan dúas zonas: por unha banda, o claustro de dúas plantas, con proporcións moi do estilo galego e de arte pouco refinada, con arcos cegados e ventás abertas neles, moi semellante ó da igrexa da Compañía de Villafranca del Bierzo (León); por outra, a suntuosa escaleira pétrea na esquina suroriental, asinada por López en 1722, que desde a planta baixa conduce ó segundo andar. Cómpre salientar ademais o soto da parte de nacente, que presenta unhas fortes arcadas. Ó primitivo edificio váiselle engadir posteriormente a parte que dá á rúa Padre Amoedo, cunha fábrica de menor calidade.

Tras a expulsión dos xesuítas, en 1767, o colexio foi sede das máis variadas empresas: as Escolas de Primeiras Letras e Latinidade patrocinadas polo Concello, a fábrica de tecidos dos irmáns Lees, almacéns, sociedades ou o primeiro instituto de Pontevedra. En 1894 a Sociedad Arqueológica de Pontevedra estudou a posibilidade de instalar nos baixos o seu Museo. Desde 1903 ata 1974 estivo ocupado polo Hospicio e pola Inclusa, unificados baixo o nome de Fogar Provincial en 1955.

En 1978 o Ministerio do Interior autoriza a cesión do inmoble co fin de que sexa utilizado polo Museo.

As obras de reparación e acondicionamento iniciáronse en 1979 e, aínda que xa en setembro de 1981 se realizara no claustro unha mostra sobre gravados de Goya e en 1982 se instalaran algunhas salas, a inauguración definitiva non tivo lugar ata o 11 de agosto de 1984.