文咸返港后对英国提交报告，报告内对太平天国的描述，促使英方决定继续保持对两方中立的态度。与此同时，内地的大规模起义使局势十分动荡，更因此触发了自香港开埠以来首次的大规模难民潮。为了逃避战火，大批难民自太平天国起义后纷纷涌入香港，在1848年，香港岛人口仅21,514人，但及至1853年，人口已增至39,107人。有关的人口增长持续至后来起义军实力减弱而相应回落。有鉴于有太平天国成员纷纷随难民入境活动，影响香港治安，文咸又在1854年立例递解太平天国及天地会成员出境，至同年12月21日，被递解的人数多达一百多人。
文咸在任港督期间，由于身兼全权公使及商务总监，因此经常不在香港。文咸不在香港期间，香港事务皆由香港副总督所负责。文咸任内共有两位副督，第一位是士他花利少将，他在1851年2月25日卸任后，副督一职由乍畏少将（Major General Willaim Jervois）接任。
在1852年3月，文咸因为健康理由而返英休养，至1853年2月才返港继续职务，期间港督一职皆由乍畏少将署理。此外，文咸返英休假期间，驻广州领事宝灵博士在1852年4月14日起暂代商务总监职务，期间于港督官邸办公，至1853年2月16日为止。在英国期间，为表嘉许其对大英帝国的服务，文咸在1852年11月27日获维多利亚女皇晋封为从男爵，封号为文咸从男爵（Bonham Baronets, of Malmesbury, Wiltshire）。
文咸在1854年4月12日卸任港督职务，并由宝灵博士接任，他从此退出了殖民地服务，1857年3月获委任为北孟加拉铁路公司（Northern Bengal Railway Company）主席。文咸后于1863年10月8日在英国伦敦帕丁顿病逝，终年60岁。死后与亡妻一同安葬于伦敦肯萨尔园公墓（Kensal Green Cemetery）。
文咸在1846年6月16日在伦敦汉诺威广场的圣乔治教堂举行婚礼，迎娶埃伦·埃米拉·巴纳德（Ellen Emelia Barnard）为妻。埃伦的父亲为托马斯·巴纳德（Thomas Bernard），曾任职于东印度公司，于孟买当公务员。埃伦与丈夫同以善于交际著称，她后于1859年4月3日逝世，夫妇两人育有一独子：
乔治·法兰西斯·般咸 （George Francis Bonham，在父亲死后世袭为从男爵，1847年8月28日—1927年7月31日）
不如前两任港督，文咸在任时声望良好，亦平息了香港居民对政府的不满。文咸在任港督期间为定例局首次引入非官守议员的议席，又成功紧缩开支，以及争取使香港地契由75年延长至999年。另一方面，文咸任内亦曾多番与清廷交涉，要求准许英商践约进入广州城，但最后没有下文。文咸曾于1853年访问南京与太平天国领袖展开会谈，会谈的不快促使英国对太平天国采取中立的态度。
文咸在历史上获得了良好的评价，这或多或少与他的个人性格有关。文咸为人以公正、敦厚、大方随和以及富有活力著称，这使得他深受殖民地的英籍居民爱戴；而他往往有考虑英商的利益，亦使他不像香港首任总督砵甸乍爵士和次任港督戴维斯爵士那样，遭到英商杯葛和向伦敦告状。在他的治下，不论是海峡殖民地还是香港，局势都相对平静，殖民地各方面平稳发展，而时任外相巴麦尊勋爵亦曾赞扬，指文咸拥有“实事求是的常识”（practical common sense）去将殖民地治理好。