Etifeddodd ei fab John ddau ystad o’i dad-cu ar ochr ei fam (Ynysgerwyn yng Nghwm Nedd a Phenllergare, pedair milltir i’r gogledd o Abertawe) ac, wrth iddo ddod i lawn oed, ac yn unol â chyfarwyddiadau yn ewyllys y Cyrnol, ychwanegodd yr enw Llewelyn i’w enw ei hun. Priododd Emma Thomasina Talbot, merch ifancaf Thomas Mansel Talbot a’r Fonesig Mary Lucy (Strangeways cyn priodi) o Fargam a Phen-rhys. Mae’n arwyddocaol bod Emma yn gyfnither i’r ffotograffydd arloesol Henry Fox Talbot. Aeth y pâr priod newydd i fyw ym Mhenllergare. Yn ystod y mis mêl a dyddiau cynnar y briodas, gwnaed newidiadau sylweddol i’r ty a bu llawer o welliannau, i’r cynllun a’r dyluniad, i’r gerddi a’r parcdir o’u hamgylch.

Yn y pen draw cafodd John ac Emma saith o blant, a goroesodd chwech ohonynt i fod yn oedolion. Yr hynaf oedd eu merch, Thereza (1834-1926), eu mab a’u hetifedd oedd John Talbot (1836-1927) a gafodd ei alw yn ystod ei ieuenctid yn ‘Johnny’, wedyn daeth Emma Charlotte (1837-1928), William (1838-1866) yr oedd y teulu’n galw ‘Willy’ arno, Sybella (1842) a fu farw’n faban, Elinor (1844-1887) a Lucy (1846-1920).

Er bod gan John Dillwyn Llewelyn ei incwm annibynnol ei hun, roedd ei ddiddordebau a’i ffocysau’n eclectig. Cymerodd ran weithgar mewn materion lleol. Cymhwysodd fel ynad a chafodd ei wneud yn Uchel Siryf ar Sir Forgannwg. Roedd yn ddyngarwr nodedig, yn rhoi amser ac arian i lawer o achosion da, yn eistedd ar bwyllgorau ac yn gweithio fel cymwynaswr i ysgolion ac ysbytai lleol. Cafodd fythynnod (honnir bod Emma wedi’u cynllunio) wedi’u hadeiladu ar gyfer y gweithwyr nad oeddent wedi’u lletya ar yr ystad, gerllaw ei gapel anwes a oedd newydd ei waddoli, a aeth yn ddiweddarach yn eglwys blwyf Dewi Sant, yng Nghors Einon. Yn y pen draw, daeth y pentrefan o amgylch yr Hen Dafarn ar y groesffordd yn bentref Penllergaer. Gyda’i frawd Lewis a’i frawd yng nghyfraith Matthew Moggridge, yn 1843 daeth yn gyfranogwr gweithgar mewn cynorthwyo Capten Napier a’r heddlu i lonyddu terfysg Beca wrth dollborth Pontarddulais.

Roedd John Dillwyn Llewelyn yn ddyn teuluol ymroddedig, ac, er nad oedd yn ddyddiadurwr toreithog fel ei dad, cadwodd ambell i ddyddlyfr, ysgrifennodd hanesion digwyddiadau lleol, papurau ar gyfer Sefydliad Brenhinol De Cymru, a llythyrau aml i’w deulu, yn enwedig ei wraig, pan oedd oddi cartref. Ar gyfer ei blant ysgrifennodd storïau a’u darlunio, yn bennaf rhai sifalraidd eu natur, wedi’u lleoli mewn lleoedd lleol ffug ond a oedd yn adnabyddadwy ar unwaith. Drwy gydol ei oes roedd â diddordeb dwys mewn garddwriaeth, botaneg a choedyddiaeth a daeth tiroedd Penllergare yn enwog am gynllun arloesol eu tirwedd yn yr arddull bictiwrésg a oedd yn ffasiynol ar y pryd. Roedd yn arbennig o hoff o degeirianau a chafodd ty tegeiriannaidd pwrpasol, o bosibl y cyntaf o’i fath yn DU, ei godi yn y gerddi muriog.

Roedd yn wyddonydd amatur dawnus ac yn aelod o Sefydliad Brenhinol De Cymru. Pan gyfarfu’r Gymdeithasfa Brydeinig er Hyrwyddo'r Gwyddorau yn Abertawe ym 1848, cafodd gwrdd â llawer o wyddonwyr mwyaf blaenllaw Prydain a’u croesawu ym Mhenllergare. Arweiniodd ei ddiddordeb mewn seryddiaeth at adeiladu arsyllfa gyhydeddol (yr ail yn unig yng Nghymru) gerllaw’r plasty. Efallai bod John Dillwyn Llewelyn yn cael ei gofio orau fel ffotograffydd bellach. Wedi’i ysbrydoli gan Henry Fox Talbot, aeth yn frwdfrydig, yn fedrus ac yn llwyddiannus ac roedd Penllergare yn ganolog o ran darparu amrywiaeth anfeidrol o destunau ar gyfer ei gamera. Dioddefodd o iechyd gwael yn ystod ei flynyddoedd olaf. Aeth yr asthma a ddioddefodd am y rhan fwyaf o’i fywyd yn waeth. Aeth Emma ac yntau i fyw yn Llundain, a phrynu Atherton Grange yn y pen draw ym 1879. Yma bu farw Emma ym 1881 a goroesodd John am un mis ar bymtheg yn unig ar ei hôl; bu farw ym 1882. Yn eu tro daethpwyd ar ddau ohonynt yn ôl i Gymru a chawsant eu claddu yn y fynwent ym Mhenllergare.

Olynodd John Talbot Dillwyn Llewelyn (1836-1927) ei dad ym Mhenllergare. Cafodd ei eni yn Neuadd Sgeti lle’r oedd ei rieni’n aros tra bod newidiadau yn cael eu gwneud gartref. Cafodd ei addysg yn Eton a Choeg Christchurch, Rhydychen. Priododd ef â Caroline Julia Hicks Beach (merch Syr Michael Hicks Beach) a buont yn byw yn Ynysgerwyn tan i’w rieni ymddeol i Lundain. Profodd yn olynydd teilwng i’w dad drwy wella a chyfnerthu ysblander garddwriaethol gerddi Penllergare a oedd yn eu hanterth pan oedd yn Is-lywydd ar y Gymdeithas Arddwriaethol Frenhinol. Roedd yn dirfeddiannwr a sgweier uchel ei barch, yn ddyngarwr nodedig, gwleidydd (AS dros Abertawe 1895-1900) ac yn sbortsmon brwd. Roedd yn aelod sylfaenu Clwb Criced Morgannwg a chafodd ei urddo’n farwnig ym 1890.