大番所・上番休息所の次に大きな建物で、大番所・上番休息所の向かい側、江戸口御門の脇にあります。昼間は足軽が控えていたり、夜は足軽が寝ていた場所です。建物内には足軽のための部屋や休息所、不審な武士などを留め置く「揚屋（あがりや）」、関所破りをした罪人などを一時的に拘置する獄屋（牢屋）などがあります。屋根は大番所と同様に杉板を薄く割って重ねた「栩葺（とちぶき）」で、外壁は壁板を「渋墨（しぶすみ）」で黒く塗られています。特に、「獄屋」は格子で囲まれており、とても頑丈に造られています。