整个江户时代（17世紀～19世纪），井上关右卫门家与伊予国大洲藩（今爱媛县大洲市）加藤家建立了密切关系。
　　战国时代末期，加藤光泰统领甲斐国（现在的山梨县）时，井上家开始为官任职。后来，据说井上家的兄弟中，哥哥继续侍奉主君，而身为炮术家的弟弟则来到堺成为铁炮锻造师。
　　承应2年（1653年）铁炮锻造井上家家主八兵卫因性格急躁，被二代藩主加藤泰兴赐名“关右卫门”。
　　他们与加藤家的关联涉及方方面面，包括新年问候 、藩主的换代和结婚的贺词等。宽政9年（1797年）第8代家主关右卫门的儿子贤次前往大洲时大受赞赏，不仅从藩主处领受了一只用进献枪筒捕获的野鸭，陪同猎鹿，还在藩主身旁欣赏能剧等。
　　加藤家因废藩置县移居东京后，第11代家主关右卫门寿次造访东京时会前去问候，并进献堺特产的地毯。
　　此外，在井上家的佛龛上层，还供奉着加藤泰兴及其之后的十位（大洲藩）历代藩主的牌位。