1934年9月7日山本五十六以少将军衔(11月15日升为中将)作为伦敦海军裁军预备会议的日方全权代表到伦敦去参加裁军预备会议。12月29日，日本政府宣布废除华盛顿海军条约以及伦敦海军条约，随后会议不欢而散。1935年12月，就任航空本部部长，大力发展日本海军航空兵。36年12月就任永野修身海军大臣的次官，并在米内光政继任海相时留任。1937年8月13日至11月12日的淞沪会战期间，山本五十六派出两艘航空母舰上的舰载机轰炸了上海，炸死了许多中国人。此外，还轰炸过广德、杭州等城市。轰炸珍珠港的精湛技术就是这样用中华的鲜血和生命财产训练出来的。8月26日英国大使克纳茨伯尔—休盖森先生在江苏太仓附近遭到日本飞机扫射而受伤事件，负责调查的海军军务局就坚持是中国飞机涂了太阳标志去攻击悬挂米字旗的英国大使车队。在军务局派去调查的是对美最强硬派的高田利种中佐也不得不承认是日本海军飞机所为之后，海军次官山本五十六还在坚持：“如果英法在苏伊士地区打仗，日本大使的车队经过受到射击，英法会不会赔偿?弄不好还要问你一个‘妨碍战斗’的罪名呢”。
1939年，为和德国结盟的事情，陆海军分裂，陆续有少壮派日本陆军军官开始公开苛责少数亲美或反对三国轴心的高级军官为“损害日本的应得利益”，受指责者包括海相米内光政、海军次官山本五十六和海军军务局长井上成美少将。
这使得山本哭笑不得。山本为此写下遗书“一死君国に报ずるは素より武人の本懐のみ、岂(あに)戦场と铳後とを问わんや 勇戦奋闘、戦场の华と散らんは易し 谁か至诚一贯俗论を排し毙れて已(や)むの难きを知らむ (中略) 此(この)身灭ぼす可し、此志夺ふ可からず 昭和十四年五月三十一日 於海军次官官舎 ”山本五十六1939年9月1日，在德国入侵波兰的当天，山本被米内光政任命为海军联合舰队兼第一舰队司令官。这是米内光政内阁下台前最后的举措之一，使山本能在海军舰艇上办公，米内很确定如果山本留在岸上，则一定会在1939年内被不明真相的百姓当国贼刺杀。从这时起，他基本上可以放手按他的观点，训练重点放在以航空母舰为基地的航空兵方面。在1940年3月的一次春季演习中，由小泽治三郎少将率领的大小2艘航母舰队以集中使用飞机密集突击的方式一举摧毁了山本指挥的2艘战列舰和1艘重型航母组成的舰队。山本五十六看到结果后对身边的参谋长福留繁少将说：“能不能用飞机去炸夏威夷?”从这时候起，山本就着手设想珍珠港之战了。1940年7月，日本与德、意签订了轴心国条约。11月5日，山本被授予海军大将军衔。
1940年11月英国地中海舰队司令安德鲁·布朗·坎宁安用航母突袭塔兰托，一举击沉3艘意大利战列舰，改变了地中海战局，塔兰托战役的成功震撼了整个世界海军。人们第一次知道原来海上霸王的战列舰居然可能被从一架小飞机上扔下来的一枚鱼雷葬入海底，并且从空中投放的鱼雷一直是被认为至少需要100英尺(大约30米)的深度，可是皇家海军在水深只有40英尺(12米)的塔兰托港内使用改良后的低空鱼雷照样取得了辉煌的战果。1941年1月，山本又进一步彻底地改进了日本海军的战略思路。在此前20年间日本海军一直是马汉海权理论的信徒，据此制定了一个渐减邀击作战：以轻型水面舰艇，潜艇以及岸基航空兵在美国海军舰队横跨太平洋过程中不断将其削弱，最后由日本海军主力在北菲律宾海(约在马里亚纳群岛与琉球群岛之间)的一次“决战”中，以战列舰对战列舰的传统战列炮击战法将美国海军全数消灭。山本敏锐地指出这种计划即使是在日本自己的兵棋推演中也重未成功过，并指出美国真正的战略优势在于国内生产能力的强大。山本建议与其冀望于先削弱再决战的防御性计划，倒不如主动进攻。山本期待，如果能在战争的初期便重创美军，也许就能促使后者坐到谈判桌边早早求和。日军期待这次打击能给他们赢得至少六个月的战略优势，在没有美国海军阻挠的情况下进攻荷属东印度的资源产地。
珍珠港之胜利
