Roedd Gravell, 56, wedi bod yn gwella yn ddiweddar ar ôl colli rhan o'i goes oherwydd haint oedd yn gysylltiedig â chlefyd y siwgr ond credir ei fod wedi dioddef trawiad ar ei galon ddydd Mercher.
Cafwyd teyrnged iddo gan brif weithredwr grŵp Undeb Rygbi Cymru, Roger Lewis, oedd yn ei ddisgrifio fel un oedd yn "ymgorffori'r awch, dawn ac urddas y genedl Gymreig, oedd mor agos at ei galon."
Roedd Gravell yn un o gymeriadau mwyaf Cymru ac yn enwog nid yn unig am ei gampau ar y maes rygbi ond am ei ffordd unigryw o ddarlledu.
Dechreuodd ei yrfa rygbi ar Barc y Strade gyda chlwb rygbi Llanelli, clwb fyddai'n aros yn agos iawn at ei galon am weddill ei oes wrth iddo gael ei benodi'n llywydd ar y clwb wedi ei ymddeoliad.
Gwnaeth ei ymddangosiad cyntaf yng nghrys coch enwog tref y sosban ym 1970 ac roedd yn aelod o'r tîm enwog drechodd y Crysau Duon 9-3 ar 31 Hydref 1972.
Croesodd am dros 120 o geisiau i Lanelli a chafodd ei benodi'n gapten ar y clwb rhwng 1980 a 1982.
Roedd Grav, fel y'i galwyd gan bawb, yn ganolwr grymus a llwyddodd i ennill 23 cap dros ei wlad rhwng 1975 a 1982 gan greu partneriaeth arbennig efo Steve Fenwick yng nghanol cae.
Roedd yn rhan allweddol o dîm Cymru gipiodd ddwy Gamp Lawn a phedair Coron Driphlyg yn y 1970au hwyr a'r 1980au cynnar.
Collodd daith y Llewod i Seland Newydd ym 1977 oherwydd anaf i'w ysgwydd, ond fe gafodd le ar y daith i Dde Affrica ym 1980.
Chwaraeodd yn y pedair gêm Brawf yn erbyn y Springboks a chroesodd am gais yn ystod yr ail Brawf yn Bloemfontein.
Cyhoeddodd ei fod yn ymddeol o chwarae rygbi rhyngwladol ym 1982 ac chwaraeodd ei gêm olaf i Lanelli ym 1985 cyn dechrau gyrfa lwyddiannus fel darlledwr.
Gwnaeth ei ymddangosiad cyntaf ar y sgrîn fach fel prif gymeriad y ffilm Bonner ar S4C.
Ymunodd â 91Èȱ¬ Cymru fel cyflwynydd a sylwebydd rygbi yn Gymraeg ac yn Saesneg gan ddod yn wyneb ac yn llais cyfarwydd i genhedlaeth newydd o gefnogwyr rygbi.
Ac yn fwy diweddar daeth Grav yn llais cyfarwydd i wrandawyr Radio Cymru wrth iddo gyflwyno rhaglen fore'r orsaf yn y de orllewin.
Cafodd ei gyfraniad i fywyd Cymraeg a Chymreig ei gydnabod gan Orsedd y Beirdd a Ray o'r Mynydd oedd Ceidwad y Cledd hyd nes i'w salwch orfodi iddo basio'r cyfrifoldeb i'w gyfaill a'i gyd chwaraewr rygbi, Robin McBryde yn 2007.
Dywedodd Roger Lewis: "Mae hyn yn sioc anferth gan fod Ray mor llawn bywyd hyd yn oed yn ystod y cyfnod diweddar o broblemau gyda'i iechyd.
"Roedd o'n llysgennad i rygbi ac i Gymru ac yn esiampl berffaith o'r ffordd mae'r gamp yn gallu ysbrydoli dyn.
"Fel chwaraewr roedd yn barchus iawn tuag at ei wrthwynebwyr ond gwrthododd ildio modfedd i unrhyw un oedd yn ei wynebu ar y maes.
"Mae'n adrodd cyfrolau ei fod wedi cadw cysylltiad â sawl un ymhell wedi i'w ddyddiau chwarae ddod i ben.
"Yn ddiweddar, fe arhosodd yn agos at y gamp fel darlledwr ac roedd wastad yn y twnnel i gyfarch y timau cyn y gemau mawr.
"Byddwn yn gweld ei golled fel arwr y byd rygbi ond yn fwy na dim, byddwn yn colli Ray fel ffrind mynwesol."
Ychwanegodd Cadeirydd URC, David Pickering, ei deyrnged i'w gyn gyd chwaraewr â chlwb Llanelli.
Tra'n gapten ar Barc y Strade, penderfynodd Gravell benodi Pickering yn is-gapten ar Lanelli.
"Roedd Ray yn ysbrydoliaeth ar y maes ac oddi ar y maes," meddai Pickering. "Ni fydd unrhyw un sydd yn caru'r gamp yma byth yn ei anghofio.
"Roedd o'n enwog am ei awch a'i gryfder ac roedd yn rhyddhad i wybod fod Ray yn y tîm wrth eich ochr.
"Bydd sawl teyrnged yn siŵr o gofio Ray a'r ffordd roedd yn chwarae'r gamp, ond mae'n rhaid cofio ei fod yn chwaraewr penigamp oedd yn haeddu pob clod.
"Roedd yn ymgorffori'r elfennau gorau o'r gamp a bydd yn golled anferth nid yn unig i'r byd rygbi ond i bawb oedd yn ei adnabod."
Mae Gravell yn gadael ei wraig, Mari, a dwy ferch, Gwenan a Manon.