이노우에세키에몬 집안은 에도시대（17~19세기）를 통해서 이요국 오즈번（伊予国大洲藩）(현재의 에히메현 오즈시) 가토（加藤） 가문과 깊은 관계를 맺고 있었습니다.
16세기에 가토 미쓰야스（光泰） 공이 가이국（甲斐国）을 통치했을 무렵에 이노우에 집안이 주군으로 섬겼던 것을 효시로 합니다. 그 후, 이노우에 집안의 형제 가운데, 형은 그대로 주군을 섬겼고, 포술가였던 남동생은 사카이로 와서 철포 대장장이가 되었다고 전해집니다.
1653년 철포 대장장이 이노우에 집안의 가주 하치베에（八兵衛）는 성급한 성격(셋카치)으로 인해 제2대 영주 가토 야스오키（泰興） 공으로부터 ‘세키에몬（関右衛門）’이라는 이름을 하사받았습니다.
가토 가문과의 관계는 연두 인사, 대가 바뀜, 결혼식 축사 등 다방면에 걸쳐 있었습니다. 1797년에는 제8대 가주 세기에몬 요시쓰구（吉次）의 아들인 카타쓰구（賢次）가 오즈로 가서 헌상 철포로 사냥한 오리를 영주로부터 하사받았을 뿐만 아니라, 사슴 사냥에 동행하여 영주의 가까이에서 일본 전통 예능인 능악을 감상하는 등 크게 면목을 세웠습니다.
페번치현(봉토를 폐지하고 현을 설치한 제도)으로 가토 가문이 도쿄로 이주한 이후도, 이노우에세키에몬 히사쓰구（壽次）가 도쿄를 방문했을 때는 인사차 방문하여 사카이의 명산품인 단통（緞通） 양탄자도 헌상하였습니다.
또한 이노우에 집안의 불단의 상단에는 가토 야스오키 이후의 역대 영주의 위패 10기를 모시고 있습니다.