起因：1932年收集的战地部队反馈表明，三二式大刀在“九一八事变”期间曾一度不被信任。
问题
：1. 握柄较短，无法双手握持以全力挥砍，尤其是在穿着厚厚的冬季手套和制服的情况下。此时，敌人也穿着厚厚的制服，挥砍的刀刃只会反弹，毫无作用。穿着厚重冬季装备作战的唯一有效方式是刺击，而三二式大刀正是这种武器的理想之选。如果砍杀是该武器的主要用途，那么未来握柄需要更长。
（1932 年 3 月第 20 师团的反馈）
2．增加刀刃需要通过抛光来完成，而不是通过锉削来使砍杀更有效（1932 年 5 月第 30 步兵团的反馈）
3. 士官们对三二式刀在实战中缺乏信心，不少人为此还额外携带自己的武士刀。（1932 年 4 月第 24 混合旅团的反馈）。
由于三二式存在这些缺点，陆军部队很快开始联合起来支持双手武士刀设计。如上所示，在满洲的冬天穿着厚重冬衣在前线作战的经历对九五式的诞生以及刀刃锉削工艺最终被放弃产生了决定性的影响。
虽然通常被称为士官刀，但实际上只有高级士官，即军士长和准尉才能佩戴九五式士刀。因此，下士和士官通常不能佩戴九五式士刀，除非他们隶属于团部或骑兵部队（骑兵、运输队或宪兵）。
九五式士刀的设计正值潮流变化之际，因此设计师不得不多次重新设计以充分反映时代的要求，最终经过 8 轮原型设计和总共 12 年的开发时间。
其前身 32 式士刀需要改进刀鞘的防锈镍涂层，而且很多人认为它的刀刃很钝，不是一种非常好用的武器。因此，改进工作在 1923 年就已开始。因此，整个研发工作一开始只是抱着对西式马刀进行小幅改进的渺茫希望，但几经周折，12 年后问世的东西却变成了武士刀的形状。这种转变并不是因为对传统的怀旧，而是出于非常实际的原因，这些原因往往会决定生死。
原型 1 至 4（1923-1928）
第一批原型于 1923 年 3 月准备就绪，它遵循三二式的先例，有一个骑兵版和一个非骑马部队版。这些原型在富山学校和骑兵学校进行了测试。然而，令人惊讶的是，两个学校都表示更需要一把双手握持的刀，于是就产生了两种兵种共用的版本。
这是第二款原型的设计理念，于1925年3月提交给两所学校。新的设计获得了好评，但也有人建议增加重量并将重心移至前方。这就是第三款原型，并于1926年9月进行了测试。除了其他改进外，刀刃还加厚了0.5毫米。反馈指出刀刃弧度过大，两所学校更倾向于采用更接近武士刀的握把设计。此外，骑兵学校也进行了些许修改，称加装护手并非不受欢迎。
第四轮原型测试于1928年5月进行，第五轮测试于1929年9月进行。