Viktorie, jejíž rodnou řečí byla němčina, byla dcerou prince Edwarda, vévody z Kentu (čtvrtého syna krále Jiřího III.), a princezny Viktorie Sasko-Kobursko-Saalfeldské. Již za jejího života se ovšem vynořily spekulace o Viktoriině nemanželském původu. Otec zemřel, když jí bylo pouhých osm měsíců, a smutky z neúplné rodiny si léčila psaním povídek.
