黄遵宪任担驻日参赞的4年间，与日本朝野人士有多方面接触，对日本的风俗民情、历史与现实等方面进行了全方面性的系统考察，他试图透过此书将日本政府的明治维新介绍到中国，希望由日本变法图强的经验，指导中国国内的政治改革，实现中国富国强兵的目标。

全书总共40卷，分国统、邻交、天文、地理、职官、食货、兵志、刑法、学术、礼俗、物产及工艺等12志，共50馀万字，黄遵宪用志书的形式记载了明治维新时期的日本，也对于明治维新以后对日本政治、经济、军事、文化及教育等根本性的变化作出了总结，继承了自魏源《海国图志》以来的爱国史学思潮。

《日本国志》付梓完成后，黄遵宪将此书送给李鸿章和张之洞等人，得到高度赞赏，认为是中国驻日外交官和旅日人士必读之书。光绪帝在百日维新中颁布的各种制度上谕中，不少重要改革措施来自于该书。

清朝末年大臣袁昶阅读该书后表示：「此书早布，可省银二万万两。」意思是如果早点读到此书，知道日本的情况，中国就不会在甲午战争中惨败，也就不会赔上二亿两，台湾也不会割让给日本。

梁启超撰墓志铭云：「所成之日本国志四十卷，当吾国二十年以前，群未知日本之可畏，而先生此书则已言日本维新之效，成则且霸，而首先受其冲者为中国，及后先生之言尽验，人服其先见。」