Arthur Henry 'Sarsfield' Ward, beter bekend onder zijn schrijversnaam Sax Rohmer, werd geboren in Birmingham, Warwickshire. Hij was de zoon van Ierse arbeidersklasse-ouders: William Ward (ca. 1850–1932), klerk van beroep, en Margaret Mary (née Furey; ca. 1850–1901). Ward kreeg grotendeels thuisonderwijs van zijn vader. Het gezin verhuisde al vroeg naar Londen, waar hij begon met het schrijven van verhalen.
Aanvankelijk streefde Ward een carrière als ambtenaar na, maar al snel richtte hij zich volledig op het schrijven. Voor hij doorbrak als romanschrijver werkte hij als dichter, songwriter en schrijver van komische sketches voor music hall-artiesten. In deze periode beweerde hij, net als tijdgenoten Algernon Blackwood en Arthur Machen, lid te zijn van een factie van de kabbalistische Hermetische Orde van de Gouden Dageraad. Ook claimde hij banden te hebben met de Rozenkruisers, al wordt de betrouwbaarheid van die uitspraken betwijfeld. Zijn arts en familievriend dr. R. Watson Councell lijkt zijn enige legitieme verbinding met dergelijke esoterische kringen te zijn geweest.
Ward had korte tijd een baan bij de Hongkong and Shanghai Bank en werd in 1903 krantenverslaggever. Datzelfde jaar verscheen zijn eerste gepubliceerde verhaal, The Mysterious Mummy, in Pearson’s Weekly. Belangrijke literaire invloeden waren Edgar Allan Poe, Arthur Conan Doyle en M.P. Shiel. Geleidelijk maakte hij de overstap van het schrijven voor music halls naar korte verhalen en feuilletons voor tijdschriften.
In 1909 trouwde hij met Rose Elizabeth Knox. Een jaar later verscheen zijn eerste boek, Pause! (1910). In 1911 trad hij op als ghostwriter voor de autobiografie van music hall-entertainer Little Tich. Kort daarna schreef hij de roman The Mystery of Dr. Fu-Manchu, die tussen oktober 1912 en juni 1913 in afleveringen werd gepubliceerd. Het boek was een onmiddellijk succes en introduceerde de personages Denis Nayland Smith en dr. Petrie, die het moesten opnemen tegen de vermeende wereldwijde samenzwering van het "Gele gevaar".
De Fu Manchu-verhalen, samen met andere detectivereeksen rond personages als Paul Harley, Gaston Max, Red Kerry, Morris Klaw (een occulte detective) en de Crime Magnet, maakten Rohmer tot een van de succesvolste en bestverdienende auteurs van de jaren twintig en dertig. De eerste drie Fu Manchu-boeken verschenen tussen 1913 en 1917 en werden in de jaren twintig door Stoll succesvol verfilmd. Na The Si-Fan Mysteries (1917) stopte Rohmer met de serie, omdat hij zich wilde richten op ander werk. Pas in 1931 keerde hij terug met Daughter of Fu Manchu, gevolgd door nog tien delen, waarmee de serie uiteindelijk dertien boeken telde (exclusief de postume bundel The Wrath of Fu Manchu and Other Stories).
In 1934 verhuisde Rohmer naar het huis Little Gatton in Reigate, Surrey, waar hij tot 1946 woonde. Ondanks zijn populariteit kreeg de Fu Manchu-serie stevige kritiek van de Chinese regering en Chinese gemeenschappen in de Verenigde Staten, die de boeken verwierpen vanwege de negatieve etnische stereotyperingen.
Sax Rohmer overleed in Londen aan complicaties veroorzaakt door de Aziatische griep.