A régészeti kutatások alapján az első emberek az őskőkorban telepedtek le a japán szigetvilágban, i. e. 30 000 körül. Az i. e. 14 évezredben elterjedt a félig-letelepedett, vadászó-gyűjtögető életmód, az emberek (feltehetőleg ainuk) elkezdtek földműveléssel és állattenyésztéssel foglalkozni. Az ebből az időszakból fennmaradt díszes mintázatú agyagedények a fazekasság legősibb darabjai közé tartoznak az egész világon.

A Jajoi-korszakban, az i. e. 3. század körül jelent meg Japánban először a rizstermesztés és a fazekasság új formája, valamint a kohászat, amelyet kínai és koreai bevándorlók hoztak magukkal. Ebben a korban kezdődött a mezőgazdaság rohamos fejlődése is.

Az első írásos említés a japánokról a kínai Han könyvében szerepel. Koreai feljegyzések alapján a 3. században a japán szigetvilág legerősebb királysága a Jamataikoku volt.

A 6. században a koreai Pekcse királyság követeket küldött Japánba a buddhizmus terjesztésére. A kezdeti ellenállás dacára a buddhizmus a vezető réteg vallása lett és az Aszuka-korszakra rendkívül elterjedt.A Nara-kor a 8. században elhozta az első egységes kormányzás megszilárdulását. Központja az akkori császári székhely, Heidzsókjó (a mai Nara) volt. Japán fokozatosan átvette a kínai adminisztrációs rendszert. Jó kapcsolatokat ápolt a koreai Szilla királysággal és a kínai Tang-dinasztiával. Ekkortájt jelentek meg az irodalom első írott alkotásai, például olyan krónikák, mint a Kodzsiki és a Nihongi. Ezek a könyvek legendákkal magyarázzák Japán születését. A leírtak alapján az országot Dzsimmu, az első császár, Amateraszu sintó napistennő leszármazottja alapította i. e. 660 február 11-én.784-től tíz éven keresztül, Kammu császársága idején az uralkodó székhelye Nagaokakjóban volt. Ezután a fővárost ismét átköltöztették, ezúttal Heiankjóba (a mai Kiotó), ami a császárok székhelye maradt több mint ezer évig. A városról kapta nevét a Heian-kor. Bár a császár uralkodhatott, az igazi hatalom a Fudzsivara család kezében volt. A császári udvar ennek ellenére fénykorát élte, kialakult a sajátos japán irodalom, költészet és művészet. Ebben a korban írta meg Muraszaki Sikibu a Gendzsi szerelmeit, amely feltehetőleg a világ legrégebbi regénye. Ekkor született a mai Japán himnusza, a Kimi ga jo szövege is.Japán feudális korszakát egy új uralkodó harcos osztály, a szamuráj réteg kialakulása jellemezte. Minamoto no Joritomot 1185-ben sógunná nevezték ki, miután legyőzte a szintén szamurájokból álló Taira klánt. Székhelyét Kamakurába helyezte. Joritomo halála után a Hódzsó klán tagjai lettek a sógunok régensei. A Kamakura-korszakban kezdett terjedni a szamurájok körében a Kínából behozott zen buddhizmus. A 13. században Japánt kétszer is mongolok támadták meg, de pusztító viharok miatt nem jártak sikerrel. Ezeket a viharokat a japánok isteni segítségnek hitték és kamikadzének („isteni szél”) nevezték el. 1333-ban Go-Daigo császár Kemmu restaurációja véget vetett a Kamakura-sógunátusnak, de a császár terve, hogy visszaaállítsa az uralkodó régi hatalmát, nem valósult meg. Három évvel később Asikaga Takaudzsi megfosztotta a tróntól Go-Daigót. A rákövetkező Asikaga-sógunátus nem tudta irányítani az ország több tucatnyi feudális hadurát, a daimjókat. 1467-ben kitört a polgárháború és kezdetét vette a hadakozó fejedelemségek kora, a Szengoku-korszak.

A 16. században Portugáliából jezsuita misszionáriusok és kereskedők érkeztek Japánba. A japánok nanbanoknak („déli barbár”) nevezték őket. Megindult a kereskedelem Japán és a nyugat között.

Oda Nobunaga a 16. század második felében számos daimjó területét hódította meg Európából beszerzett fegyverekkel, de mielőtt egyesíthette volna az egész országot, 1582-ban merénylet áldozata lett. Nobunagát hű támogatója, Tojotomi Hidejosi követte, aki 1590-ben végül egyesítette Japánt. Hidejosi kétszer is megszállta Koreát, de számos koreaiaktól és Ming-dinasztiabeli kínaiaktól elszenvedett vereség majd Hidejosi halála miatt 1598-ban a japánok elhagyták Koreát.Hidejosi halála után Tokugava Iejaszu lett az ország tényleges ura, aki ettől kezdve Edóból irányította Japánt. Az 1600-as szekigaharai csatában legyőzte az ellenséges klánokat. Három évvel később sógunná nevezte ki magát és ezzel kezdetét vette a Tokugava-sógunátus kora. Jelentős befolyása volt a császár és udvara, a hadurak, valamint a vallási vezetők felett is, de a keresztény daimjók és területeik felett fokozatosan meggyengült az uralma. Elkezdték korlátozni a kereskedelmet, misszionáriusokat és más keresztényeket végeztek ki, megkezdődött a katolikusok üldözése, végül 1639-től a külföldiekkel való kereskedést szinte teljesen betiltották. Japán ezzel több mint két évszázadra elszigetelte magát a külvilágtól.Az élet legtöbb területét korlátozták. Ennek ellenére a belföldi kereskedelem virágzott, megnőtt a mezőgazdasági termelés, fejlődtek a városok. Szentélyeket, templomokat, kastélyokat és erődöket építettek. Fellendült a kulturális élet is, terjedt az irodalom, a filozófia, a kabuki színjátszás és az ukijo-e fametszetek készítése. A 18. századtól a fejlődésnek azonban gátat vetettek a magas adók, az évenkénti természeti katasztrófák és az éhínségek, emellett a kormányzat pénzügyi helyzete is romlott.Az elszigeteltségnek 1854-ben szakadt vége, amikor Matthew C. Perry sorhajókapitány vezetésével amerikai hadihajók érkeztek Japánba. A megköttetett kanagavai egyezmény értelmében az ország megnyitotta kapuit a világ előtt. Több hasonló, Japán számára kedvezőtlen szerződés a nyugati hatalmakkal gazdasági és politikai válságot eredményezett. 1867-ben Tokugava Josinobu sógun a császár javára lemondott hatalmáról, ám ezt nem mindenki fogadta el. Kitört a polgárháború, amely végül végérvényesen megbuktatta a sógunátust. Meidzsi császár reformjaival egy központosított államot hozott létre és visszaállította az uralkodói ház hatalmát és tekintélyét. Japán átvette a nyugat politikai, igazságszolgáltatási és katonai rendszerét. Az elmaradott, feudális országból rövid idő alatt iparosodott nagyhatalom lett. Hogy fedezze szükségleteit, háborúkat indított a szomszédos területek megszerzésére. Az első kínai–japán háború és az orosz–japán háború győzelmei után Japánhoz csatolták Tajvant, Koreát és Szahalin déli részét.A 20. század elején a rövid Taisó-korszakot beárnyékolta Japán terjeszkedése és militarizációja. Az ország az első világháborúban a győztes antanthatalmak oldalán állt, így a háború után tovább növelhette befolyását és területét. Japán folytatta terjeszkedő politikáját, amelynek részeként 1931-ben elfoglalta Mandzsúriát. A nemzetközi közösség nemtetszését fejezte ki a megszállás miatt, ezért Japán két évvel később kilépett a Népszövetségből. 1936-ban a hitleri náci Németország és Japán aláírta az antikomintern paktumot, öt évvel később pedig csatlakozott a tengelyhatalmakhoz.Még 1937-ben Japán elfoglalta Kína újabb részét, ami miatt az Egyesült Államok olajembargót léptetett érvénybe a birodalommal szemben.1941. december 7-én a japánok megtámadták a Pearl Harbor-i amerikai haditengerészeti támaszpontot, valamint hadat üzentek az Egyesült Államoknak és Nagy-Britanniának. Ez az esemény volt az oka, hogy az Egyesült Államok belépett a második világháborúba. Miután 1945-ben Hirosimát és Nagaszakit amerikai atombomba pusztította el, ezenfelül a Szovjetunió is megtámadta Japánt, augusztus 15-én az ország kapitulált.

A háború Japánban és a csendes-óceáni régió többi országában emberéletek millióit követelte. Az ipar és az infrastruktúra romokban hevert. A szövetségesek több millió japánt telepítettek vissza a fő szigetekre. A tokiói perben ítéletet mondtak a japán hadvezetés nagy része felett, bár az emberkísérleteket végző biológiai kutatóegység és császári család tagjai a vádak alól mentességet kaptak.

1947-ben Japán új, pacifista alkotmányt fogadott el. A szövetséges megszállás hivatalosan a San Francisco-i egyezmény életbelépéséig, 1952-ig tartott. Négy év múlva az ország beléphetett az Egyesült Nemzetek Szervezetébe. Több évtizeden keresztül Japán hihetetlen gazdasági növekedést tudott produkálni, aminek köszönhetően a világ második legnagyobb gazdasági hatalmává vált. Az 1990-es évekre a fejlődés megtorpant, a gazdaság súlyos válságba zuhant, a javulás első jelei pedig csak a 21. század elején mutatkoztak.