在整個江戶時代（17世紀～19世紀），，井上關右衛門家族與伊予國大洲藩（現今愛媛縣大洲市）的加藤家族有著深厚淵源。
　　戰國時代末期，加藤光泰佔領甲斐國（現在的山梨縣）之際，井上家開始為官任職。之後，井上家的兄弟之中，哥哥繼續侍奉主君，而身為炮術家的弟弟則來到堺成為了鐵炮鍛造師。
　　承應2年（1653年），井上家家主鐵炮鍛造師井上八兵衛因性格急躁，被第二代藩主加藤泰興賜名為「關右衛門」。
　　與加藤家的關係涉及新年問候、藩主更替及婚禮祝詞等多方面。寬政9年（1797年），第8代家主關右衛門的兒子賢次前往大洲，不僅獲得藩主賞賜用敬獻的鐵炮射擊的鴨子、陪同狩獵鹿，還在藩主身邊欣賞能樂表演等，備受尊重。
　　加藤家因廢藩置縣移居東京後，第11代家主關右衛門壽次造訪東京之際皆會前往拜會，並獻上堺名產地毯。
　　另外，井上家的佛壇上層供奉著十座自加藤泰興以後的（大洲藩）歷代藩主牌位。