Als er jung war, wollte sein Vater, dass er Rechtsanwalt werden würde. Als er jedoch in der Ausbildung stand, hörte er die Worte von Konfuzius, der sagte: "Besser als Rechtsanwälte zu haben ist es, eine Welt zu schaffen, wo keine Rechtsanwälte notwendig sind." Als Yamada Mumon Roshi dieses hörte, wurde ihm klar, dass die Arbeit eines Rechtsanwaltes ihn nicht befriedigen würde. Somit machte er sich auf die Suche.
Eines Tages hörte er, dass Kawaguchi Ekai von seiner Reise nach Tibet zurück gekehrt war. Er war der erste japanische Zen Meister in Tibet gewesen und hielt jetzt einen Vortrag über "Der Weg des Bodhisattvas". Kawaguchi Ekai lehrte, dass wir die ganze Welt nicht mit weichem Leder bedecken könnten, doch wenn wir weiche Lederschuhe an unseren Füssen hätten, dann könnten wir überall hingehen und wir würden dabei ständig auf Leder laufen. Genauso ist es unmöglich, der ganzen Welt ein Dach zu schenken, um uns vor dem Regen zu schützen, doch wenn wir alle einen Regenschirm hätten, dann könnten jeder sich vor dem Regen schützen. Es scheint unmöglich zu sein, jede einzelne Person zu befreien, doch wenn man es selbst erlebt hat, dann werden andere Menschen davon inspiriert werden, und auch sie werden sich Lederschuhe der Erleuchtung anziehen. Das ist der Weg des Bodhisattvas. Auch wenn eine einzelne Person nicht die ganze Menschheit befreien kann, so kann sie doch die Möglichkeit dazu aufzeigen und das wahre Licht manifestieren.
Yamada Mumon Roshi wurde ein Schüler von Kawaguchi Ekai, doch durch das strenge Üben erkrankte er an Tuberkulose. Er lebte für viele Jahre in Isolation auf sein Ende wartend, als er eines Tages an einem sonnigen Juni Tag die Nanten Blume sah, und er erwachte.
Er schrieb dieses Gedicht:
Alle Dinge sind von diesem universellen Geist umarmt
davon sprach der kühle Wind zu mir heute morgen.
Sein Körper war auch kuriert, wo nach er zu dem Kloster Enpukuji in der Nähe von Kyoto ging und an der Realisation seiner wahren Buddha Natur weiter arbeitete. Dann ging er zu dem Kloster Tenryuji und vertiefte seinen Geist unter Seisetsu Genjo Roshi, bis zu dem Alter von 51 Jahren, da er selber als Zen Meister in dem Kloster Shofukuji in Kobe zu lehren begann.
Während des zweiten Weltkrieges sah er viele Kriegsorte, die ihn tief berührten. Ab 1967 ging er auf Pilgerreise in viele Süd-Asiatische Länder, um sich für die Taten der Japaner im Krieg zu entschuldigen, und las Sutren für die Kriegstoten aller Religionen. Diese Haltung der Reue lehrte er auch seinen Schülern.
Yamada Mumon Roshi war sehr aktiv in seinem Leben. Er lehrte auch viele ausländische Schüler, nahm an der Eröffnungszeremonie des Daibosatsu Zendos in New York State teil, besuchte das Mount Baldy Zen Zentrum in Kalifornien, und reiste nach Mexiko und Indien, wo er an dem Ort der Erleuchtung Buddhas, in Bodhgaya, den japanischen Tempel baute. In Europa eröffnete er den spirituellen Austausch zwischen dem Westen und dem Osten, zwischen dem Christentum und dem Buddhismus.
Später wurde er der Abt von Myoshinji, der Kansho-san der Myoshinji-Ha der Rinzai Sekte, und der Leiter des Hanazono Colleges. Er war ein ausgezeichneter Gelehrter und ein großer Meister mit vielen Schülern, doch lebte er bis zu seinem Ende seines Leben wie ein einfacher Mönch, jeden Moment für andere Menschen lebend und gebend.