1853年7月，四艘巨大的黑色鐵甲艦，冒著滾滾的黑煙，駛入日本的江戶灣。第二年，日本和美國籤訂了《日美親善條約》，宣布開國。日本的近代化進程由此開始。
知識階層接觸到大量的西方文化，「驟然接觸到這種迥然不同的新鮮事物，不僅感到新異，而且感到所見所聞無一不奇無一不怪，這好比烈火突然接觸到冷水一般，不僅在人們的精神上掀起波瀾，而且還必然要滲透到人們的內心深處，引起一場翻天覆地的大騷亂」。
在國門打開之前，日本人是非常驕傲的。因為「日本乃神國也」，日本人也因此認為自己是天下最優秀的人種。但是，開國之後，這種虛妄被瞬間打破。
和西方文明撞擊之後，大部分日本人馬上意識到西方的先進。著名啟蒙學者福澤諭吉說：「西洋各國人民智力充沛，有獨立自主精神，在人與人的關係上是平等的，處理事物是有條不紊的，大自一國的經濟，小至個人的生活，就目前的情況來談，我們日本人無論如何是望塵莫及的。大體上說，到了今天人們才恍然大悟，完全承認西洋各國的文明和日本的落後。」
日本社會迅速興起了一股崇洋熱。幕府時期日本禁食牛肉，而此時牛肉卻成了「文明的藥劑」。大家都以不吃牛肉為不開化的表現，牛肉火鍋店顧客盈門，人們在裡面大啖牛肉，喝著葡萄酒，用蹩腳的英語談著時事，認為這是最時尚的表現。
日本人甚至發明了「日本人種和日本文化劣等論」，認為自己從人種到語言都一無是處。福澤的弟子高橋義雄認為，要改變日本人的落後狀態，最有效的手段是實施「人種改良」。由於西洋人在身高、體重、頭腦等各方面都強於日本人，日本人應該與西洋人「雜婚」，這樣於公於私都有好處。明治初期的外交官兼學者森有禮的觀點更為偏激，他曾於1872年發表了《英語國語化論》，主張停止漢字教育，廢除日本語，用英語取代國語。
日本人對本國國民性的反思也由此開始。
缺乏公共觀念和民族意識
開國之初，日本知識分子首先注意到的是當時的日本國民缺乏公共觀念，不能適應近代化的需要。
1868年，日本開始了明治維新。不甘放棄權力的幕府與擁戴天皇的維新勢力展開戰鬥，爆發了著名的「戊辰戰爭」。後來的日本著名政治家板垣退助那年31歲，在擁戴天皇的官軍中任參謀指揮。在官軍進攻強藩會津藩時，板垣預料戰鬥會異常激烈，因為會津藩是幕府勢力的中心之一，況又累年經營，城高池深。板垣在戰前已下定了葬身城下的決心。沒想到攻城進程遠比想像的要輕鬆。雖然士族抵抗比較頑強，但會津藩的民眾卻根本不關心統治者的命運，戰爭一起就紛紛逃散，根本不為自己的統治者提供資助。
板垣在事後感慨地說：「殉國者，不過區區五千士族而已，目擊農工商庶民皆挑擔逃避之狀，深有感觸……會津為天下屈指可數之雄藩，若上下一心，奮力報效藩國，僅五千不滿之吾官兵，豈能如此輕易使之降伏。庶民欲避開如此之難而四處逃散，毫無報答累世君恩之概念，見君國之滅亡卻以為風馬牛不相及之感，究竟是何故？想必是上下隔離、不能互享其樂之故。」
民眾與自己生活的政治體沒有共命運的感覺，大難來時各自飛，這樣的政治體顯然無法適應近代社會競爭的需要。
這一現象其實最早是西方人注意到的。在壬辰戰爭之前的1864年8月，日本和西方之間的馬關戰爭爆發，英、法、荷、美四國聯合艦隊攻擊馬關炮臺。西方人注意到，當他們佔領馬關炮臺的時候，「日本人對於正在作業的人不斷顯示出極其友好的態度，進而又支援幫助移動大炮。他們真的非常高興拆開這種給他們增添麻煩的玩具」。
福澤諭吉因此批評說，日本人是一盤散沙，缺乏國家意識：「人民……不關心國事。結果，一百萬人懷著一百萬顆心，各人自掃門前雪，莫管他人瓦上霜。對一切公共事務漠不關心……終日惶惶唯恐沾染是非，哪有心情去考慮集會和議論！」
缺乏獨立觀念和公德意識
除了缺乏民族意識外，開國之初的日本人還嚴重缺乏獨立觀念和公德意識。
自由民權運動興起後，《自由燈》雜誌對日本人「無氣無力的奴隸根性」有過如下批判：「吾三千七百萬同胞兄弟和私下叫嚷著這裡徵兵那裡酒稅菸草稅苦情的頑固父親，不少的人都處於對外界關係完全不知的酣睡狀態……哪個黨佔國會多數、掌握大權，都與我無關，過著隱居般的生活，這就是無氣無力的奴隸根性……這些以自己的奴隸根性自業自得、嗚呼哀哉的懦弱的來往行人，即使日本成為洋鬼子的屬國，定是同樣的『嗨、嗨』低頭，成為心靈骯髒的卑劣小人……」
因為缺乏自尊觀念，轉型之初的日本社會也有很多亂象。片桐正雄說：「值上下火車之時，眾人集中，卻各個爭先，不顧老人小孩。傲慢恣意者先行出入，著坐於客車上。」「或不考慮同室者的感情如何，大聲放歌」，「在旅店之客房，不顧鄰室之人，或歌或舞，喧鬧不休。」
與奴性共生的是「官本位」思想。三宅雪嶺批評說，日本根深蒂固的官本位至今沒有剷除乾淨。從小學到大學的教職完全比照政府的官位，學術世界成了政府的附庸。有的學者一味追求晉升，跟在高位後面亦步亦趨。
土肥正孝1898年發表《日本風俗改良論》，他認為，日本社會存在著重視等級、傾軋競爭、封建迷信、崇洋媚外、語言不雅、依附心理、自暴自棄、虛耗光陰、奢侈虛偽、崇尚虛禮等十大弊病。他舉例說，日本官吏橫行，欺壓百姓，社會缺乏公平競爭的氛圍和習慣，政界、學術界、工商界無不拉幫結夥，排斥異己，相互傾軋。類似西方社會中的平等競爭的規則和環境遠遠沒有形成，國民缺乏競爭精神和氣質，賄賂、猜忌、誹謗、揭人隱私等手段無所不用其極。精英階層肩負國家重任但不依據公平之大道，常以一己之私利出發，只知有己而不知有國。
塑造國民性
概括起來，轉型之前的日本人存在兩個方面的問題：一是缺乏民族意識，不團結；二是缺乏公民精神，不自尊不獨立。
當然，日本知識分子並沒有停留在對現象的咒罵和批判。通過與西方文明的對比，他們清楚地認識到，一個國家的國民性，不論是優點還是缺點，主要是由政治制度塑造的。比如傳統日本社會的尚武任俠之風，並不是日本人的天性，而是在封建諸侯體制下武士階層中逐漸形成的。
與此相同的是，民眾明哲保身、事不關己，是他們的政治能動性長期以來一直被否定的結果。在傳統時代，武士獨佔統治權，一般的民眾禁止談論政治。福澤諭吉說：「在亞洲各國，稱國君為民之父母，稱人民為臣子或赤子，稱政府的工作為牧民之職。這個『牧』字，若照飼養獸類的意思解釋，便是把一州的人民當作牛馬看待。」
福澤諭吉說，為什麼日本人的官本位意識嚴重呢？這是因為傳統時代一切資源都被權力掌握。「我國人民之所以沒有獨立精神，是由於數千年國家的政權完全由政府一手掌握，從文事武備到工商各業，以至於民間的生活細節，要歸政府管轄」，所以人們依附權力，不以屈從為可恥，缺乏西洋人的獨立自主精神。
等級封建制度也塑造了平民的畏懼怯懦性格，不敢懷疑和挑戰權威。「追溯西方各國所以能有今天的文明的根源，可以說都是從懷疑出發」。在歐美，「一種議論產生，就有另一種學說來駁倒它，異說紛紜，不知其極。較之亞洲人民輕信虛妄之說，為巫蠱神鬼所迷惑，一聞所謂聖賢之言即隨聲附和，萬世之後還不敢逾越，其品行之優劣，意志之勇怯，實不可同日而語」。
另一位明治時期啟蒙思想家西周也認同這個觀點。他在《國民氣風論》中說：「在上有專制政府，在下有此等人民。奉戴專制之君上，自視為奴隸，以易直行其身，以忠諒任其事，在專制政府可謂極好最佳的人民之氣風。」由此造成了「無氣無力的人民」。
因此，日本知識分子認為，要改變日本人的國民性，必須兩條腿走路：一條腿是由政治家大刀闊斧地改革政治制度，開闢國民性健康發展的空間；另一條腿是由知識分子進行啟蒙，喚醒民眾的精神。
日本的國民性改造運動由此開始。在明治政府效法西方進行變法的同時，以福澤諭吉為代表的日本知識分子寫作和翻譯了大量著作，對日本人的精神覺醒起到了巨大的作用。
自由民權運動
一般來說，後發國家接受先進文化，都是由精英階層開始。因為知識和視野的原因，精英階層比較容易認清世界大勢，接受新的觀念。底層民眾的「頭腦開化」則比較困難。他們受制於巨大的文化惰性，沉溺在集體無意識中，缺少知識，目光閉塞，傳統觀念極為頑固。這是社會轉型的最主要障礙。
用西川長夫的話來說，如果將一個社會比作大地，精英人物和知識分子是表層，這些底層民眾就是下面的「粘土層」，啟蒙運動的雨水很容易浸潤表層，卻很難突破到粘土層。而只有粘土層也被浸透，社會轉型才可能完成。
如前所述，會津戰役的經歷讓軍官板垣退助大發感慨，認識到只有讓百姓從客人變成國家的主人，「將天下事讓其（民眾）參與看管」，「興起與天下憂樂與共的風氣」，百姓才會愛這個國家。因此後來板垣成了日本著名的民權運動家，引發了日本歷史上著名的「自由民權運動」。這一運動對突破「粘土層」起了重要作用。
明治維新是一場很不徹底的改革，一開始並沒有建立議院。1874年，板垣退助等人上書天皇，要求建立民選的議院。板垣退助在上書中寫道：「今吾政府設民選議院之目的，使吾人民養成敢為之風氣，明白分任天下之義務，參與天下之事，以達全國一心。政府之強，乃天下人民皆同心也。現設民選議院，使政府與人民之間能夠相互了解，合成一體。這樣，國家方可強、政府方可強。」
這份上書在報上發表後，立刻在社會上引起強烈反應。已經初步接受啟蒙的日本知識分子迅速響應，引發了一場以要求開設國會、制定憲法、確立地方自治為主要內容的自由民權運動。
運動的宗旨是解放民眾，約束政府。在板垣的示範和呼籲下，全國出現了200多個政治團體。1879到1881年，日本各城市興起很多學會，召集和推動民眾學習自由民權思想。
農村的富裕農民（豪農）大量購入各種報紙和啟蒙思想家的著作，供農民無償閱讀。在政治團體和精英知識分子的提倡和組織下，全國各地都興起了舉行演講會之風，窮鄉僻壤也請來城市知識分子進行演講，並和聽眾一道討論自由民權主張。
很多啟蒙者創作了所謂「民權歌舞」，在民間風靡一時。據當時高松立志社的新聞報導，「此時盧梭和美國革命也做成歌，稱為『民權歌』，印刷出來分發給聽眾或街上行人，所到之處的兒童都會唱此歌，頗為流行」。歌詞是：「一是人之上無人，完全沒有權利此不為人，二是我命無二次，舍掉也無自由不足為惜。」
在社會精英的有效組織鼓動下，民眾一掃傳統時代麻木不仁、死氣沉沉的狀態，對政治表現出空前的積極性。很多地方的農民在做完農活後，聚集在一起讀書討論，學習自由民權思想，甚至起草憲法。
根據當時《土陽新聞》的報導，在自由民權運動中，土佐縣民眾的生活方式有了明顯的改觀，自開辦夜校以來，「連農民亦積極奮發，杜絕往日冶遊藝伎等惡習，專志於學習者甚多」。
學習的書籍是福澤諭吉的《勸學篇》和斯賓塞的《社會平權論》等教材。青少年放學後依次發表演講，進行辯論，模擬議長選舉、辯論討論，進行起立表決。「自由已從土佐山間產生」，這是土佐立志社機關報《海南新志》創刊號的一句話。
自由民權運動刺激了社會草根階層的廣泛參與和政治覺醒。民眾由此開始逐步有了自己的憲法設想和自治意識。最顯著的成效體現為多摩郡五日市的「五日憲法草案」。這個憲法草案是五日市周邊村落數十名普通農民經過多次討論，由小學老師千葉卓三郎起草的。
自由民權運動雖然只持續了十多年，但卻是一場非常深入廣泛的政治宣傳和動員，遍及日本的村村社社，直達最底層的農民。民權思想和平等思想，在君君臣臣傳統異常嚴重的日本初步普及。
一時間，在整個社會上，「自由」「平等」「民主」等字眼，成為最時髦的時代用語，以至於浴場的名字也出現了「自由澡堂」「自由溫泉」，點心有「自由糖」，藥鋪有「自由丸」，飯店有「自由亭」。它改變了整個日本社會的頭腦。
事實證明，公民文化的建設不是僅靠教育就能完成的，更需要通過政治實踐來學習。
西川長夫說：「概括歷史來看的話，形成國民這方面作用最大的、最中心、最主體的是自由民權運動……現在要重新評價的話，我認為，自由民權運動最大的效果，是在國民形成方面發揮了巨大作用這一點上。」
「國民，應該是很多的人通過各種深層的交往連結在一起，比如這塊大地，在最上的是沙層，沙層和小石層粘在一起，就形成沙礫層。其下，有黑土、植物葉腐化後非常肥沃的土層，其後面是粘土層。由於它是不毛之地，不通水，地下水就沉積在那裡。這樣的話，文明開化、西洋文化等東西，或者是基督教文化這些東西一進來，雨雖然不停地下，沙礫層雖然容易通過，卻很難滲透到黑土層去，要花費很多時間。
一般的大眾、庶民就位於黑土層或粘土層這一位置。黑土層和以下粘土層的人，由於在地方而不在中心，雖然隨著雨水不斷進入，國民意識也逐步會高揚起來，但很難滲透和擴大下去。很快就進去的人群，比如去了歐洲的人、日本的一部分領導者（如沙礫層一樣），他們發揮了重大作用。
他們通過翻譯，起到了向底下的黑土層和粘土層不斷滲透的中介的作用。國民意識真的滲透到黑土層，抵達粘土層，國民形成就成功了。自由民權運動所起的便是將水滲透到黑土層的作用。」
政府自上而下的改革
當然，如果只有轟轟烈烈的民間運動，而沒有政治上層的響應，自由民權運動也不會取得太多正面成果。
眾多政治團體持續多年的轟轟烈烈的政治活動，對政府形成了巨大壓力。天皇最終於1881年頒發詔書，答應在1890年開設國會，頒行憲法。後來《大日本帝國憲法》於1889年頒布，帝國議會在1890年進行第一次總選舉，標誌著自由民權運動結束。民權運動自下而上地施加壓力，和政府自上而下地改革制度，形成了相輔相成的作用。
在這次順應民意制定憲法之前，明治政府已經主導了廢藩置縣，四民平等，戶籍、學制、兵制、法制和稅制改革等一系列制度改革。接下來，又開啟地方自治、政黨制度、議會制度建設，完成了權力結構的調整。
確立立憲制度後，日本民眾初步獲得了參政權、財產私有權以及言論出版結社權利，絕大多數人在這一過程中都得到了解放，獲得了利益，感覺到了讓人「又驚又喜」的世道變化。
柳田國男的描述是：「這真是一個一切都在飛躍的時代，『舊弊』成了最使人難堪的罵人話，人們對新時代的期待如火如荼。」這也自然有利於全國的團結一致。民眾在不同程度上獲得了政治參與權，增大了對國家的認同感，初步形成了上下同心、「官民一致」的整體。
日本民族主義完成培養
日本近代化轉型的初步成果，在甲午戰爭中強烈地顯現出來。
明治時期的知識分子對日本人一盤散沙狀態的感嘆發出沒有多久，日本人強烈的國家觀念就培養起來了。甲午戰爭時，24歲的芳五郎入伍，親身感受到普通日本人身上的民族主義狂熱。「通過關原古戰場……正在田裡幹活的農民，看到我們乘坐的汽車將要靠近，有蹲在地裡兩手合攏叩拜的人，有向我們汽車頻頻敬禮的，我們特別銘記於心，同仇敵愾之心油然而生。觀其精神，可以斷定他們或是其子女、或是其親戚都已經奔赴戰場，每個人都不能不感嘆……」
甲午戰爭起，「戰死」開始成為日本人竭力追求的「名譽」，被升華為所謂日本人的「光榮的櫻花般的優良品質」。有一些日本士兵因病歸鄉，被視為「說謊的傢伙、畜生」，被人們群毆。
顯然，日本民眾已經把自己的命運與國家的命運緊緊地聯繫在一起。日本人的現代民族觀念的形成過程可謂急速而高效。當然，相比民族觀念，日本人公民意識的確立要曲折得多，這也為第二次世界大戰埋下了伏筆。