Einstein 1879. március 14-én született a németországi Ulmban, amely jelenleg a Baden-Württemberg tartományhoz tartozik, Stuttgarttól nagyjából 100 km-re keletre fekszik. Apja Hermann Einstein eleinte ágytoll-kereskedéssel foglalkozott, majd nyitott egy elektrokémiai műhelyt. Pauline Koch-al Stuttgart-Bad Cannstadtban házasodtak össze. A család zsidó volt, de Albert szülei nem követték a hagyományokat; a fiú katolikus általános iskolába járt, ahol anyja kívánságára hegedűleckéket vett.
Ötéves korában apja megismertette az iránytűvel. Einstein később ezt a tapasztalatát tartotta a legmeglepőbbnek: ekkor értette meg, hogy valami az üres térben is hat a tűre. Bár eszközöket barkácsolt szórakozásból, mégis lassú felfogásúnak tekintették, talán dyslexia, félénkség, vagy az átlagtól jelentősen eltérő agyfelépítése miatt (lásd halálánál). Később a relativitáselméletet ennek a lassúságnak a javára írja, mivel többet töprengett a tér és idő problémáján, mint a legtöbb gyerek. |
Egy másik – sokkal későbbi – feltevés szerint Einstein Asperger-szindrómában, az autizmus enyhébb formájában szenvedett.
Einstein matematikát 12 éves kora körül kezdett tanulni. Egy időnként felbukkanó történet szerint megbukott matematikából, de ez nem igaz; csupán a tanulmányi minősítéshez rendelt érdemjegyek változtak meg 1896-ban, ekkortól a legjobb jegy a 6-os lett, amely addig a legrosszabbnak számított, s ez okozta a félreértést évekkel később. Szellemi fejlődésére gyermekkorában és korai kamaszkorában két nagybátyja volt hatással, akik tudományos könyveket ajánlottak neki, valamint egy Max Talmud nevű orvostanhallgató. Talmudot rossz anyagi helyzete miatt a zsidó hitközség úgy támogatta, hogy hat éven át minden csütörtökön Einsteinéknél ebédelhetett. A 10 éves Einsteinnek ő mutatta meg Eukleidész Elemek, és Immanuel Kant A tiszta ész kritikája című művét.