Rafaela proviene da una famiglia povera, ed è cresciuta in una favela di Rio de Janeiro chiamata Cidade de Deus, resa famosa dal film City of God uscito nel 2002. Insieme a sua sorella maggiore, Raquel Silva, ha iniziato a prendere lezioni di judo all'età di 8 anni presso l'Istituto Reação, un progetto sociale fondato dall'ex judoka brasiliano Flávio Canto, che vinse la medaglia di bronzo alle Olimpiadi di Atene 2004. 