Dopo il diploma, preso a pieni voti, per qualche tempo accarezza l'idea di una carriera sportiva nel campo del football. Si iscrive al Georgia Institute of Technology, intenzionato ad entrare nella CIA, ma lo lascia per arruolarsi nell'esercito americano dal 1958 al 1961. Al ritorno dal servizio militare si iscrive al Texas College of Arts and Industries, ma si trasferisce ben presto all'Università dell'Iowa, dove ha modo di avere straordinari insegnanti come il poeta Richard Hugo e il romanziere Richard Yates: alla base del suo primo romanzo, pubblicato nel 1969, dal titolo Uno per battere il passo (One to Count Cadence), c'è proprio la sua stessa tesi di laurea. Intraprende diversi mestieri: autista di camion, barista, portuale, soldato, giocatore di football, insegnante e ovviamente scrittore. È stato lui stesso a dichiarare più volte che la folgorazione per la letteratura hard boiled sia avvenuta grazie a un libro di Chandler. Fino a quel momento le sue passioni erano indirizzate più verso la letteratura classica, Dostoevskij e giù di lì. Con Chandler tutto cambia ed è forse anche per questo che Crumley amava definirsi il suo “figlio illegittimo”. Oltre a numerosi racconti e romanzi, che hanno goduto di notevole successo di critica e pubblico, Crumley ha scritto molte sceneggiature e testi teatrali, in gran parte rimasti inediti. Nel 2002 ha vinto il Silver Dagger Award con il romanzo The Final Country (La terra della menzogna). Scompare nel 2008 dopo una serie di gravi problemi di salute, che ne avevano alla lunga minato la pur forte fibra. Crumley si è sposato cinque volte.