日本宪兵最初是为了整顿日本军队的军纪，当时的上等兵每月收入6日元30钱，而宪兵每个月有100日元的工资，那时候受人尊敬的小学校长也没有那么高的收入。
日本宪兵从服饰上来看，主要的特征是披风和宪兵袖章。披风是模仿法国的Gendarmerie穿着的短披风；而宪兵袖章是1923年被陆军省正式规定的，宽12公分上面写有红色“宪兵”