Syn učitelky a boxera, který však rodinu ještě před chlapcovým narozením opustil, vyrůstal ve státech Mississippi a Michiganu u prarodičů z matčiny strany. Ti zakázali malému Jamesi Earlovi Jonesovi, aby se s otcem vídal. Hoch začal z traumatu tak silně koktat, že podle svých slov asi v pěti letech zcela přestal mluvit. Znovu začal teprve na střední škole díky učiteli angličtiny, který ho postupně rozmluvil lstí, když jej přiměl recitovat poezii.
