O Palacio de Luces pertenceu, durante muitas gerações, à família Victorero, família nobre, que recebeu o título de fidalguia pela sua participação nas batalhas da Reconquista. A família Victorero que tinha abandonado, em inícios do século XVI, as funções militares e guerreiras próprias da sua linha, residia nas proximidades da praia de La Griega, na qual desenvolviam atividades de comércio marítimo e pesca.

A descoberta da América e a condição fidalga da família fez com que rapidamente iniciassem o comércio com as Índias e que parte da família viajasse para o México em busca de fortuna e oportunidades. Portanto, quando se funda o morgadio com sede no nosso palácio, a família já está muito relacionada e aparentada com gentes “ausentes nas Índias”.