Após o término da Seguda Guerra Mundial, Oyama já era quarto dan de Karate, e começou a trabalhar como guarda costas de uma gangue, pois dessa forma conseguira dinheiro de forma mais fácil (Oyama, 1979).

Nessa mesma época, segundo Oyama (1979), Oyama foi preso, em uma cadeia, de uma delegacia americana, por 6 meses após agredir soldados americanos, uma vez que os Estados Unidos haviam ocupado o Japão após o término da Segunda Guerra Mundial (Bertonha, 2001).

Enquanto estava preso Oyama leu o livro Miyamoto Musashi, de autoria de Eiji Yoshikawa, o que fez com que ele refletisse sobre suas ações, no sentido que sua vida havia tomado e no que fazer deste momento em diante, pois quando o Japão se rendeu Oyama havia perdido o senso patriótico que o guiava. Foi então que Oyama decidiu dedicar-se única e exclusivamente ao Karate.

Após ser libertado da prisão Oyama foi diretamente para as montanhas (Monte Minobu), onde se encarregava de diversos trabalhos domésticos, como cortar lenha, transportar água, entre outros. Como considerava que não tinha tempo suficiente para trinar Oyama retornou para Tokyo após 3 meses no Monte Minobu (Garcia, 2003).