철포 대장장이 저택은 기슈가도（紀州街道） 서쪽의 나카하마스지（中浜筋） 길에 동쪽으로 면하여 위치해 있으며, 외관은 역사적인 거리경관을 구성하는 중요한 경관적 요소로 자리잡고 있습니다.
부지는 동쪽의 나카하마스지 길부터 서쪽의 하마롯켄스지（浜六間筋） 길까지를 1구획으로 하는 광활한 넓이입니다. 부지 내에는 안채에 인접하여 자시키（座敷）동, 부지 서쪽에 도구창고, 곡식창고, 부속동 등이 늘어서 있습니다.
1689년의 ‘사카이 대형 그림지도（堺大絵図）’와 이노우에세키에몬(井上関右衛門） 집안에 전해지는 ‘저택 그림도면（屋敷絵図）’, 1697년과 1870년의 ‘나카하마 1초메 미즈초（中浜1丁目水帳）’(토지 대장) 등을 통해 저택 내의 방 배치와 저택 부지의 변천을 확인할 수 있습니다.
이에 의하면, 1689년 이전에는 정면 폭 6간（약 12ｍ）의 저택 부지였던 것이 이노우에세키에몬 집안의 철포 대장장이로서의 지위가 상승됨과 더불어 점차 확장되어, 1825년에는 정면 폭 17간 반（약 35ｍ）으로 현재의 부지와 같은 규모가 됩니다.
또한 안채와 자시키동은 건축 연대가 각기 다른 4동의 건물이 늘어서는 형태로 구성되어 있습니다. 건축 연대가 가장 오래된 장소는 안채 가운데 봉당 부분과 그곳에 면한 자시키 부분입니다.
안채에는 장인으로서의 생활 공간 이외에도 미세노마（店の間）와 접객 공간, 철포의 최종 공정으로 마무리 작업을 했던 시아게바（仕上場）［작업장］ 등이 있습니다.
안채의 봉당을 지나면 그곳에는 대장간이 있어, 부지의 변천과 함께 철포 대장장이의 직장과 주거지가 일체화된 저택의 구조를 잘 알 수 있습니다.