O edificio construíuse entre o século XIII e XIV, situado na actual Praza do Ferro que daquela albergaba o mercado gremial de apeiros, ferramentas e utensilios de ferraxería.
En 1270 fálase da praza como “Crux Ferraiorum” ou “Cruce dos Ferreiros”, onde confluían as rúas gremiais dos mercados de peixerías (hoxe rúa Viriato), dos fornos de pan (actual rúa do Forno), e do gremio dos zapateiros (actual rúa da Paz), e preto, cara ao norde, estaba situada a Porta da Corredoira que daba acceso á cidade.
En documentos históricos fálase de que alí había varias casas de hidalgos e nobres, e noméase específicamente a Torre da Casa Misa de Alba. O edificio foi sede da Confraría Relixiosa que se encargada da primeira misa matutina, coa alba do día, que se oficiaba na Catedral, polo que o seu nome deriva de tal circunstancia. Hai constancia que foi propiedade do Conde de Taboada, así como do Chantre e despois bispo Pedro Yáñez de Noboa, e tamén pertenceu ao Conde de Maceda e aos seus descendentes.
Tiña 4 alturas, do estilo da arquitectura gótica centroeuropea, de sillares toscos de perpiaño, un alto e desenvolvido frontis, con portas e fiestras románicas e oxivais, tellado a dúas aguas, con aposentos abovedados e torre, 2 arcos cegos de descarga na pranta baixa, unha fachada de 12 metros longo, e aproximadamente 20 metros de altura e 17 metros de profundidade.
Derrubouse en 1892, era una verdadeira reliquia da arte medieval galega, sendo unha perda patrimonial irreparable.
Fontes: (AHPOu; “Puertas, Torres ciudad de Ourense”, Olga Gallego; Libro Actas do Concello Ourense 1869 (28-11-1869) . Pax.109 V – “A cidade de Ourense, unha visión a través dos séculos” (Bol. Auriense. A.27. Musarq 2001), Olga Gallego.