D. Ana Rita Maria Josefa é filha de D. Lopo José de Almeida Pimentel de Sequeira e Abreu e de D. Francisca Xavier Maria de Castro Melo e Castro. Nasceu em 1762, em Pangim, e faleceu em 1831. Por morte do seu tio-avô herdou a grande casa dos Silveira e Menezes, bem como os restantes vínculos de seus antecessores maternos e paternos.
D. Francisco Xavier de Castro casou, em segundas núpcias com D. Ana Rita Maria Josefa, a 10 de fevereiro de 1778. Foi através deste casamento que entraram na família Castro grande parte dos vínculos e propriedades pertencentes aos antepassados de D. Ana Rita: Silveira e Menezes, Almeida Pimentel e Melo e Castro (Monserrate).
Tiveram dois filhos: D. António de Castro (n. Pangim, 1779-08-07) e D. José Maria de Castro e Almeida Pimentel de Sequeira e Abreu.