El Palacio de Luces perteneció durante muchas generaciones a la familia Victorero, familia noble, que recibió el título de hidalguía por su participación en las batallas de la Reconquista. La familia Victorero que había abandonado a comienzos del siglo XVI las funciones militares y guerreras propias de su rango, residía en la cercana playa de La Griega, en la que desarrollaban actividades de comercio marítimo y pesca.

El descubrimiento de América y la condición hidalga de la familia hizo que pronto iniciaran comercio con Las Indias y que parte de la familia viajara a México en busca de fortuna y oportunidades. Por tanto, cuando se funda el mayorazgo con sede en nuestro palacio, la familia ya está muy relacionada y emparentada con gentes “ausentes en Indias”.