井上関右衛門家は、江戸時代を通じて伊予国大洲藩（現在の愛媛県大洲市）加藤家と深いつながりを持っていました。
　戦国時代末期、加藤光泰が甲斐国を領有した頃に、井上家が仕えたのがはじまりです。その後、井上家の兄弟のうち、兄はそのまま主君に使え、砲術家だった弟が堺に来て鉄炮鍛冶になったといわれています。
　承応2年（1653）鉄炮鍛冶井上家当主・八兵衛は、その気ぜわしい（せっかちな）性格から、二代藩主加藤泰興から「関右衛門」の名を賜りました。
　加藤家との関わりは、年頭の挨拶、藩主の代替りや結婚の祝詞など多岐にわたります。寛政9年（1797）には第８代当主関右衛門吉次の息子である賢次が大洲に出向き、献上筒で撃ち取った鴨を藩主から拝領したうえ、鹿狩りに御供し、藩主の近くで能を鑑賞するなど大いに面目を施しました。
　廃藩置県による加藤家の東京移住以降も、第11代当主関右衛門壽次は東京を訪れた際には挨拶に出向いており、堺名産の緞通も献上しています。
　また、井上家の仏壇の上段には、加藤泰興以降の歴代藩主の位牌が十基まつられています。