James Lafferty a kaliforniai Hemetben született, ott járt középsikolába, ott kosárlabdázott az MVP-díjért. Anyja arra bíztatta őt és testvérét, Stuartot, hogy mindenképpen valósítsák meg álmaikat.
James tíz éves korában megkapta első szerepét, és később Emeril Lagasse fiát is játszotta az "Emeril" c. sorozatban. Vendégszerepet kapott a "Once and Again" c. sorozatban, ahol Tadet játszotta és a "Boston Public" c. filmben ban. Az "ESPN" c. filmben, a "Season on the Brink", indiaiakról szóló kosárlabdafilmben is játszhatott.
2003-ban lediplomázzot a Hemet Középiskolában. Mielőtt megkapta volna Nathan szerepét, felvették a Cal State Long Beachbe.