Minamoto žádný Yoritomo
Brána Seigan-ji v Nagoji, na místě bývalé rodinné vile a jeho rodiště
Yoritomo byl třetí syn Minamoto no Yoshitomo, dědic Minamoto (Seiwa Genji) klanu, a jeho oficiální manželka, Urahime, byla dcera Fujiwara no Suenori, který byl členem slavné Fujiwara klanu. Yoritomo se narodil v rodinné vile v Atsutě v Nagoji v provincii Owari(dnešní Seigan-ji). V té době byl hlavou Minamota Yoritomův dědeček Minamoto no Tameyoshi. Stejně jako Benkei, jeho dětské jméno bylo Oniwakamaru (鬼武丸). Byl potomkem císaře Seiwa.
v roce 1156 vypukly frakční divize na dvoře v otevřeném boji uvnitř hlavního města. Klášterní Císař Toba a jeho syn Císař Go-Shirakawa se postavil na stranu syna Fujiwara regent Fujiwara no Tadazaneho, Fujiwara Doma, stejně jako je Taira žádný Kiyomori (dědic z rodu Taira),zatímco Klášterní Císař Sutoku sousedil s Tadazaneho je mladší syn, Fujiwara no Yorinaga. Toto je známé jako Hgengen povstání.:210-211, 255
klan Minamoto byl rozdělen. Hlava klanu, Tameyoshi, se postavil na stranu Sutoku. Nicméně, jeho syn, Yoshitomo (otec Yoritomo), sousedil s Toba a Go-Shirakawa, stejně jako Kiyomori. Nakonec příznivci Go-Shirakawa vyhráli občanskou válku, čímž zajistili vítězství Yoshitomo a Kiyomori. Sutoku byl umístěn do domácího vězení a Yorinaga byl smrtelně zraněn v bitvě. Tameyoshi byl popraven silami Yoshitomo. Nicméně, Go-Shirakawa a Kiyomori byli nemilosrdní, a Yoshitomo se ocitl jako hlava klanu Minamoto, zatímco Yoritomo se stal dědicem.
Yoritomo a klan Minamoto pocházeli z císařské rodiny z otcovy strany. Nicméně, v Kjótu, klan Taira, nyní pod vedením Kiyomori, a klan Minamoto, pod vedením Jošitoma, začal znovu frakcionalizovat.:239-241, 256-257
o čtyři roky později Kiyomori podporoval Fujiwara no Michinori. Nicméně, Yoshitomo podporoval Fujiwara no Nobuyori. Toto bylo známé jako Heiji povstání. Sídlo bývalého císaře bylo spáleno, zatímco Shinzei byl zajat a dekapitován. Minamotové však nebyli dobře připraveni a Taira převzala kontrolu nad Kjótem. Jošitomo uprchl z hlavního města, ale později byl zrazen a popraven zadržovatelem.
v důsledku toho byly na Minamoto a jejich spojence uvaleny tvrdé podmínky. Pouze Yoshitomovi tři mladí chlapci zůstali naživu, takže Kiyomori a klan Taira byli nyní nespornými vůdci Japonska.: 258-260 Yoritomo, nový šéf Minamoto, byl vyhoštěn. Yoritomo nebyl popraven Kiyomori kvůli prosbám Kiyomoriho nevlastní matky. Yoritomo bratři, Minamoto no Noriyori a Minamoto žádný Yoshitsune byly také dovoleno žít.