第10师团是在甲午战争后的1898年新设立的。由来自兵库、冈山、鸟取这三县以及岛根县的一部分的士兵组成的。师团司令部设在兵库县姬路市。编成时所属步兵联队：第10（冈山），第39（姬路），第40（鸟取），第63（松江）日军内部代称：铁兵团投降时所属部队：第14方面军投降时所在地：吕宋岛（菲律宾）
日俄战争师团在日俄战争时为野津道贯大将所率领第4军隶下部队，参与辽阳会战、沙河会战、奉天会战等战役。
侵华战争1931年918事变爆发后，第10师团立即编成了混成第8旅团于12月出动，入满之后参加了松花江流域作战以及吉林省内的讨伐作战，1934年3月正式回国整编。原来，关西、中国地区的师团是不配有重炮兵部队的。1936年，预定在冈山新建立野战炮兵第5旅团司令部和野战重炮兵第10连队（96式15公分榴弹炮），但是因为种种原因终没有实现。1937年8月中旬自日本本土登陆大沽于天津集结，后编入第2军，
9月中、下旬在津浦路北段东路作战，占泊头、德县，11月上旬攻占临邑、商河，12月占济南；1938年1月占兖州；这时师团的编成是师团长矶谷廉介中将，参谋长堤不夹贵大佐，步兵第8旅团（濑武平少将），下辖第39联队（沼田多稼藏大佐），第40联队（长野义雄大佐）。步兵第33旅团（濑谷启少将），下辖第10联队（赤柴八重藏大佐）第63联队（福荣真平大佐）。师团直辖骑、炮、工、辎各一个联队，还有通信队，卫生队和1-4野战医院。临时配属2个炮兵联队，2个机枪大队，2个装甲中队。1938年3月左右的濑谷启旅团单独前进，以一个大队在滕县击破川军王铭章部，但在台儿庄栽了个大跟头。面对着十倍于己的西北军以及汤恩伯的中央军，虽说对外声称是撤退，但是在日军势如破竹的一连串攻势中未能达到战术目的，实际上第10师团的确丢尽了面子。后来徐州会战中第33旅团之第63联队在禹王山击破了滇军4万人，6月18日师团长变更为篠冢义男，在武汉会战中师团又突破了胡宗南镇守的罗山防线而直下信阳；1939年8月调回日本。
太平洋战争1940年第十师团驻扎满州，隶属关东军。太平洋战争爆发后，1944年2月，日军第十师团的一部被派往中太平洋，而第十师团主力于1944年7月前往南太平洋。最初的预定是派往台湾，但是最后第十师团还是被抽调去了菲律宾的吕宋岛。第十师团在尚武集团(隶属于山下奉文大将的第14方面军)的指挥下，于1945年1月开始与登陆上来的美军展开了约半年的拼死相搏。面对强大的美军，第十师团发起一次次的肉搏战，拼死抵抗。在物资和火力占有绝对优势的美军的攻势下，第十师团遭受了毁灭性的打击，处于全面崩溃的状态，于1945年8月15日无条件投降。但是吕宋岛全岛的日军投降还是1945年9月2日的事。
最终所属部队歩兵第10联队（冈山）歩兵第39联队（姫路）歩兵第63联队（松江）
历代师团长伏见宫贞爱亲王：1898年（明治31年）10月1日
川村景明：1901年（明治34年）4月2日
安东贞美：1905年（明治38年）1月15日
小泉正保：1910年（明治43年）8月26日
松川敏胤：1912年（明治45年）1月14日
山口胜：1914年（大正3年）8月8日
尾野実信：1916年（大正5年）8月18日
金久保万吉：1918年（大正7年）8月9日
宇垣一成：1921年（大正10年）3月11日
神头胜弥：1922年（大正11年）5月13日
福原佳哉：1924年（大正13年）2月4日
长谷川直敏：1926年（大正15年）3月2日
本庄繁：1928年（昭和3年）2月29日
广瀬寿助：1931年（昭和6年）8月1日
建川美次：1934年（昭和9年）6月28日
松浦淳六郎：1935年（昭和10年）12月2日
矶谷廉介：1937年（昭和12年）3月1日
筱冢义男：1938年（昭和13年）6月18日
佐佐木到一：1939年（昭和14年）9月7日
十川二郎：1941年（昭和16年）3月1日
冈本保之：1944年（昭和19年）1月17日
