Geboren te Municipal Borough of Wimbledon, Zuid-Londen. Hij was de derde van de vijf kinderen van Alfred Perceval Graves (1846-1931), die het zesde kind en de tweede zoon was van Charles Graves, bisschop van Limerick, Ardfert en Aghadoe. Zijn vader was een Ierse schoolinspecteur, Gaelic geleerde en de auteur van het populaire lied 'Father O'Flynn', en zijn tweede vrouw, Amalie Elisabeth Sophie von Ranke (1857-1951), de nicht van de historicus Leopold von Ranke. Op zevenjarige leeftijd nam dubbele longontsteking na mazelen bijna het leven van Graves in beslag, de eerste van de drie keren dat hij door zijn artsen werd wanhoop als gevolg van longaandoeningen, de tweede was het resultaat van een oorlogswond en de derde toen hij eind 1918 Spaanse griep opliep, onmiddellijk vóór demobilisatie. Op school werd Graves ingeschreven als Robert von Ranke Graves, en in Duitsland worden zijn boeken onder die naam gepubliceerd, maar vóór en tijdens de Eerste Wereldoorlog veroorzaakte de naam hem moeilijkheden. In augustus 1916 verspreidde een officier die hem niet beviel het gerucht dat hij de broer was van een gevangengenomen Duitse spion die de naam " Karl Graves " had aangenomen. Het probleem dook op een kleine manier op in de Tweede Wereldoorlog, toen een verdachte politieman zijn benoeming bij de speciale politieagent blokkeerde. Graves 'oudste halfbroer, Philip Perceval Graves, behaalde nota als journalist en zijn jongere broer, Charles Patrick Graves, was een schrijver en journalist. Overleden te Deià, Mallorca, Spanje.