D. Francisco Xavier de Castro nasceu em Pangim, tendo sido batizado em 26 de julho de 1778, e aí faleceu, aos 67 anos. Foi moço fidalgo, fidalgo escudeiro e fidalgo cavaleiro da Casa Real (1767), bem como irmão da Santa Casa da Misericórdia de Goa (1778) e cavaleiro da Ordem de Cristo (1804).
Dos cargos desempenhados, destacam-se: capitão-tenente da Coroa na Marinha da Praça de Diu (1770) e na Cidade de Goa (1771), coronel com exercício de ajudante-general junto do governador da Índia (1779), governador e capitão-general de Macau (1780-1783), capitão-de-mar-e-guerra da Coroa (1795), comandante do Corpo da Marinha Real de Goa (1795), presidente do Senado de Goa num período de dez anos (1798, 1801, 1803, 1805, 1806 e 1807), chefe de divisão da Marinha de Goa (1799) e chefe de esquadra (1818).
Foi com o seu nascimento que o morgado da Beselga ficou definitivamente nas mãos dos Castro. No início de 1800, o Dr. Inácio Tamagnini de Abreu propôs-lhe comprar a quinta mas o negócio nunca foi avante e a propriedade continua em posse da família.
Fora do casamento, teve dois filhos em Macau: D. Francisco de Castro (c. 1782) e D. Francisco de Castro.
D. Francisco Xavier de Castro casou em primeiras núpcias com sua prima D. Inácia Rosa de Mello, filha de João Manuel de Mello e de D. Páscoa Flor de Mello, desconhecendo-se a data do casamento ou qualquer elemento biográfico da mulher. Tiveram quatro filhos: D. João (f. r./n. em Pangim, 1770-06-18), D. Maria Rosa Luísa de Castro e Almeida (b. em Pangim, 1771-09-08, f. 1799-09-04), D. Ana Francisca de Castro (b. em Pangim, 1773-09-05, f. 1798-10-21) e uma outra filha sem nome, nascida em Pangim a 1775-12-09 e falecida recém-nascida. A seguir a esta filha, faleceu também D. Inácia Rosa de Mello.
Este casamento possibilitou a ligação dos Castro com os Mello, dos quais existem alguns documentos no Arquivo.
D. Francisco Xavier de Castro casou, em segundas núpcias com D. Ana Rita Maria Josefa, a 10 de fevereiro de 1778. Foi através deste casamento que entraram na família Castro grande parte dos vínculos e propriedades pertencentes aos antepassados de D. Ana Rita: Silveira e Menezes, Almeida Pimentel e Melo e Castro (Monserrate).
Tiveram dois filhos: D. António de Castro (n. Pangim, 1779-08-07) e D. José Maria de Castro e Almeida Pimentel de Sequeira e Abreu.