Os Castros descendem, em linha direta, de D. Pedro Fernandes de Castro, o da Guerra (f. junho de 1343, em Algeciras), filho de D. Fernando Rodrigues de Castro e de D. Violante Sanches de Castela. Foi senhor de Monforte de Lemos e mordomo-mor de D. Afonso XI de Castela. Teve descendentes do seu primeiro casamento, com D. Beatriz de Portugal, neta de D. Afonso III, do segundo, com D. Isabel Ponce e, por bastardia, tem filhos de D. Aldonça Lourenço de Valadares. Dos seus filhos bastardos destaca-se D. Inês de Castro (1320/5-1355), rainha póstuma de Portugal.
A família aqui representada é descendente do seu segundo casamento. Foi o filho de D. Pedro Fernandes de Portugal, D. Fernando Rodrigues de Castro (f. 1377) que, por bastardia, gerou Álvaro Pires de Castro, responsável pela continuidade de gerações, chegando à atualidade.
Quatro gerações depois surge D. Filipe de Castro, filho de D. Rodrigo de Castro, o Ombrinhos, e de D. Ana de Eça e Castro. O destaque deve-se pelo facto de ter sido o primeiro elemento da família Castro a rumar para a Índia, em 1550. Aí, desempenhou as funções de capitão de Damão e foi foreiro da aldeia de Sirigão.
A família manteve-se na Índia por dez gerações, desempenhando sempre cargos político-militares de relevo. Tendo-se fixado primeiro em Baçaim e, depois, em Goa, desempenharam funções também em Macau e Moçambique.
Foi na Índia que se estabeleceram relações com importantes famílias: os Sequeira e Abreu e os Almeida Pimentel, responsáveis pela entrada na família de numerosos vínculos e por uma ainda maior notoriedade no seio da sociedade portuguesa.
O regresso a Portugal ocorreu em 1855, na figura de D. Luís Caetano de Castro e Almeida Pimentel de Sequeira e Abreu. Seria este membro que, pelos serviços dos seus antepassados, receberia o título de Conde de Nova Goa por decreto assinado por D. Luís I (7 de junho de 1864).
Mesmo em Portugal, a família continuaria a desenvolver importantes atividades: o 2º Conde, por exemplo, para além de professor de agronomia, foi Ministro das Obras Públicas, Comércio e Indústria.
O atual conde é o quarto detentor do título: D. Luís Eduardo de Mendia de Castro.