Nato a Delhi, in India, è emigrato negli Stati Uniti assieme alla famiglia all'età di otto anni, crescendo poi a Edison, nel New Jersey.
Sharma ha studiato a Princeton, conseguendovi un dottorato in "public policy". Nel contempo, ha approfondito la propria conoscenza di autori come Russell Banks, Joyce carol Oates, Paul Auster ed altri.
È stato insignito di uno Stegner Fellowship per il corso di scrittura a Stanford, e ha vinto numerosi premi O.Henry.
Deluso dal tentativo di diventare uno sceneggiatore, ha intrapreso studi in Legge presso l'Università di Harvard.

Ha pubblicato racconti sul New Yorker, The Atlantic Monthly, The Quarterly e altre prestigiose testate. Il suo racconto Cosmopolitan è stato inserito nell'antologia dei migliori racconti americani del 1998, e da esso è stato tratto un film nel 2003.

Il suo primo romanzo è Un padre obbediente (Einaudi 2001). A questo farà seguito, nel 2015, Vita in famiglia.
Quest'ultimo libro, in particolare, è stato acclamato dalla critica (ad esempio dal New York Times). Sharma ha impiegato 13 anni a scriverlo.