据薛福成序，黄遵宪编纂《日本国志》时“采书至二百余种”，这些书籍包括中日两国的正史、野史、笔记、杂录等。其中日本史籍有德川光国的《大日本史》，青 山延光的《国史纪事本末》，赖山阳的《日本政记》、《日本外史》，岩垣松苗的《国史略》，蒲生秀实的《山陵志》、《职官志》，以及《日本书纪》、《续日本 纪》、《日本后纪》、《续日本后纪》、《文德天皇实录》、《日本三代实录》、《怀风藻》、《扶桑集》、《扶桑略记》、《凌云集》、《延喜式》、《类聚三代 格》、《吾妻镜》、《徂徕集》、《江户繁昌记》等。另据研究，《礼俗志》中不少条目多采自江户时期汉学家村濑栲亭的汉文著作《艺苑日涉》。而有关明治维新 后的资料，据黄遵宪介绍，“所据多布告之书，及各官省年报”，可知主要采自明治政府的太政官布告以及各省官年报。据考证，《地理志》所据材料，多采自地理 寮地志课 本明毅等编撰的《日本地志提要》。
由于黄遵宪没有具体记载所引资料的来源，书中亦未列出引用书目，因此给《日本国志》资料来源的考证辨析工作带来诸多不便，需要我们今后进行更加细致的调查研究。近年来浙江大学日本文化研究所的王宝平教授在此方面进行了一系列有益的考辨工作。
黄遵宪驻日前后只有四年有余，又不通日本语言，因此要编纂一部包罗日本历史各个方面的史书，确实不是一件容易的事情。特别是典章制度方面，因史料匮乏，甚 至令日本史学家亦望而却步，知难而退。日本友人冈千仞就曾告诉黄遵宪说：“此事水户史官所欲为而不能为，盖无足以供史料者也。蒲生君亦有此志，中途而止， 亦坐无史料耳。”黄遵宪亦在《日本杂事诗》（卷一第74首）中叹道：“兵刑志外征文献，深恨人无褚少孙。”然而，黄遵宪还是决心效仿褚少孙续补《史记》， 完成《日本国志》的编纂工作。
当然，在撰写《日本国志》的过程中，黄遵宪亦曾面临重重困难。他将这些困难概括为以下三点（《日本国志 凡例》）。
第一、 采辑之难：“日本古无志书，近世源光国作《大日本史》，仅成兵、刑二志，蒲生秀实欲作氏族、食货 诸志，有志而未就，新井君美集中有田制、货币考诸叙，亦有目而无书，此皆汉文之史而残阙不全，则考古难；维新以来，礼仪典章，颇彬彬矣，然各官省之职制、 章程、条教、号令，虽颇足征引，而概用和文，不可胜译，则征今亦难。此采辑之难也。”
第二、 编纂之难：“以他国之人，寓居日浅，语言不达，应对为烦，则询访难；以外国之地，襄助乏人，浏览所及，缮录为劳，则抄撮亦难。此编纂之难也。”
第三、 校雠之难：“既非耳目经见之书，又多名称僻异之处，而其中事物之名，有以和文译汉文者，有以英文译和文再译汉文者，或同字而异文，或有音而无义，则校雠亦颇为难。”
上述种种困难，使得黄遵宪有时感到力不从心，“搁笔仰屋，时欲中辍”（《日本国志 凡例》），甚至曾对日本友人说“此事大难，恐不成书”。
幸好黄遵宪周围聚集了一大批硕学鸿儒，可以随时为他提供各种帮助。据黄遵宪自称：“遵宪来东，士大夫通汉学者十知其八九”，可见当时与日本汉学家交流之广 泛。仅《人境庐诗草》中所咏及的日本友人，便有石川鸿斋、伊藤博文、 本武扬、大山岩、浅田惟常、重野安绎、宫本小一、大沼厚、南摩纲纪、龟谷省轩、岩谷 修、蒲生重章、青山延寿、小野长愿、森鲁直、冈千仞、鲈元邦、宫岛诚一郎、秋月种树、日下部东作等二十余名，他们多为明治初期日本著名的政治家或汉学家。 黄遵宪在任驻日参赞的四年多时间，由于能与日本汉学家们通过作诗唱和或笔谈来进行交流，得以克服因语言不通而造成的巨大障碍。可以说，黄遵宪之所以能够完 成《日本国志》这部巨著的撰写工作，是与他们的鼎力相助密不可分的。