明治34年(1901年)9月，驻日英国公使埃内斯特·马松·萨托爵士向本国申请在下关开设了英国领事馆，地址在赤间町26号。这是在下关初次开设的领事馆。
作为临时的领事馆，开设时使用一家曾是商店的日本式房屋，明治39年(1906年)12月，在现在的位置新建了领事馆从而搬迁到这里。到大正11年(1922年)为止派驻了专任的领事。后来，由领事代理执行事务工作。但由于时局恶化，于昭和15年(1940年)末结束了业务工作。
昭和29年(1954年)，下关市取得了建筑物所有权，将此处用作派出所，考古馆等。昭和62年(1987年)6月3日，下关市将该建筑指定为有形文化财产，经过改修工程后，作为公开文化财产以及面向市民的艺术作品展示场所而使用。平成20年(2008年)12月因保存修理工程而停止开放。在上述使用期间的平成11年(1999年)5月13日，被指定为重要文化财产（建筑物）。
保存修理工程的目的是为了在下一个100年继续保存和有效利用此建筑物。经过大约5年半的时间，实施了地基改良以及增强构造等的必要措施。另外，作为提供唐户地区文化财产以及观光信息的场所而进行了整修，作为「公共设施」于平成26年(2014)7月重新开馆。

就作为领事馆而使用的建筑物而言，旧下关英国领事馆是日本现存最古老的建筑。关于建筑物的配置等，在建筑物特性上充分表现出作为领事馆的用途，作为明治期间外交相关设施的一个典型极为重要。整体由主楼和附属建筑、以及围绕这些建筑用地的砖砌围墙构成。作为记录建筑年代的重要资料，保留了写有「上棟　明治参拾九年八月九日」(「上梁　明治参拾九年八月九日(1906年8月9日)」)的镇宅之物。

从平成20(2008年)开始的保存修理工程中，经过英王室的许可，将丢失的玄关上部的徽章复原。
复原过程中，根据旧照片以及英国徽章院的建议等，尽力忠实地再现了当时的徽章。