A finais do século XVII, D. Ginés Fernando Ruiz de Castro Andrade e Portugal, XI conde de Lemos e VIII conde de Andrade, nacido en 1666 e falecido en 1741, promoveu as últimas reformas de importancia no pazo familiar.
Con posterioridade á concesión en 1692 do Vélaro de Ouro, D. Ginés decidiu emprazar no alto da fachada principal o magnífico escudo barroco que porta as armas e triunfos da liñaxe. Ao pechar co novo escudo a porta que daba paso á balconada esta perdeu funcionalidade, motivando que fora desmontada e deixando só as pegadas das ménsulas que aflorarían nas fotos dos anos previos ao derrubamento e que permitiron interpretar o ocorrido.
O estado de abandono do pazo polo desinterese dos condes de Lemos desde a segunda metade do século XVIII non fixo máis que progresar no século XIX. O concello de Pontedeume escriturou a compra da gran finca en marzo de 1905 pensando en aloxar diferentes usos de interese público. A verdade é que sólo se aproveitou o edificio para unha escola de nenos, sede para unha sociedade recreativa e aloxamento para guardias civís.
Ao progresar a ruina do casarón, o concello foi acometendo o derrubo da muralla e a separación do torreón coa apertura en 1911 da avenida cara a estación de Ferrocarril. As necesidades de modernización da vila de Pontedeume foron a excusa perfecta para que con estes precedentes o concello deixara arruinarse por completo os restos do pazo.
Nin siquera a declaración en 1924 como “Monumento arquitectónico-artístico” parou o proceso, desembocando no derrubamento total entre 1929 a 1935. O solar do pazo quedou ocupado polo novo mercado de abastos, quedando como único resto do conxunto orixinal o torreón medieval no que se incrustou o barroco escudo dos últimos tempos de esplendor da casa
Fontes: (SÁNCHEZ GARCÍA, Jesús Ángel, Julio VÁZQUEZ CASTRO, Alfredo VIGO TRASANCOS (eds.) e Juan David DÍAZ LÓPEZ (coord.) (2023). Arquitecturas añoradas. Memoria gráfica del patrimonio destruido en Galicia en el siglo XX. Gijón: Ediciones Trea.)