Ond fe sgoriodd Japan gais ym mhob hanner gan gynnwys un cais cwbl wych gan Kosuke Endo.
Bydd gwŷr Gareth Jenkins yn wynebu Fiji yn Nantes ar 29 Medi mewn gêm mae'n rhaid iddyn nhw ei hennill er mwyn camu ymlaen i rownd yr wyth olaf.
Ac ar sail eu perfformiad yn yr ail hanner nos Iau, bydd Cymru yn hyderus o allu trechu gwŷr y Môr Tawel.
Japan gafodd bwyntiau cyntaf y gêm wrth i Shotaro Onishi drosi cic gosb gynnar.
A bu'n rhaid disgwyl am 10 munud cyn i Alun-Wyn Jones groesi am gais i setlo nerfau'r Cymry.
Ond tarodd y Cherry Blossoms yn ôl yn syth â chais bendigedig.
Gyda Chymru'n pwyso am ail gais, llwyddodd Japan i ennill sgrym yn erbyn y pen cyn rhyddhau eu holwyr i garlamu hyd y maes cyn i Endo groesi yn y gornel.
Roedd y cais yn hwb i Gymru a throsodd Stephen Jones gic gosb i roi Cymru yn ôl ar y blaen.
Ac ychydig funudau'n ddiweddarach llwyddodd James Hook i ddawnsio heibio sawl amddiffynnwr i fynd drosodd yn y gornel.
A brwydrodd y bachwr, Rhys Thomas, drosodd i sgorio ei gais rhyngwladol cyntaf ychydig funudau'n ddiweddarach gyda Stephen Jones yn trosi'r ddau.
Wedi i Onishi ychwanegu ei ail gic gosb, llwyddodd Cymru i sicrhau pwynt bonws wrth i Kevin Morgan groesi wedi gwaith gwych gan yr olwyr i roi'r tîm cartref 29-11 ar y blaen ar yr egwyl.
Cafwyd perfformiad gwych gan Gymru yn yr ail hanner gyda'r mewnwr, Mike Phillips, yn rheoli'r chwarae.
Croesodd Phillips o dan y pyst wedi munud yn unig wrth iddo dorri trwy sawl tacl a fe oedd yn gyfrifol am greu cais cyntaf Shane Williams hefyd.
Casglodd Phillips ei gic ei hun cyn bwydo Williams i roi Cymru 41-11 ar y blaen.
Ac er i Dafydd James ymestyn mantais Cymru â chais arall, gwrthododd Japan ag ildio a llwyddodd Hirotoki Onozawa i wibio o'i hanner ei hun i groesi o dan y pyst.
Ond wrth i Japan flino llwyddodd yr eilydd, Gareth Cooper, Martyn Williams a Shane Williams i groesi.
Dyma oedd 34ain cais yr asgellwr ac mae'n esgyn uwchben Ieuan Evans ar restr sgorwyr ceisiau Cymru .
Cymru: Kevin Morgan; Dafydd James, Jamie Robinson, James Hook, Shane Williams; Stephen Jones, Mike Phillips; Duncan Jones, Rhys Thomas, Chris Horsman, Will James, Alun Wyn Jones, Martyn Williams, Colin Charvis, Alix Popham.
Eilyddion: Huw Bennett, Gethin Jenkins, Ian Evans, Michael Owen, Gareth Cooper, Ceri Sweeney, Tom Shanklin.
Japan: Christian Loamanu; Kosuke Endo, Yuta Imamura, Shotaro Onishi, Hirotoki Onozawa; Bryce Robins, Tomoki Yoshida; Takuro Miuchi (capt), Philip O'Reilly, Hare Makiri; Luke Thompson, Hitoshi Ono; Soma Tomokazu, Yuji Matsubara, Tatsukishi Nishiura.
Eilyddion: Taku Inokuchi, Ryo Yamamura, Takanori Kumagae, Yasunori Watanabe, Kim Chul-won, Koji Taira, Tatsuya Kusumi.