Het pand van binnen
Het museum is gevestigd in een sfeervol monumentaal pand uit 1776, het voormalige raadhuis van Oudenbosch. In 1975 vierde de gemeente Oudenbosch haar 700-jarig bestaan en werd het pand aan het Zouavenmuseum ter beschikking gesteld.
In 1998 werd het oude en zeer smalle trappenhuis aan de achterzijde van dit rijksmonument vervangen door een nieuw trappenhuis. Hiermee kwam de zolderetage beschikbaar. Deze werd ingericht als ontvangst en vergaderruimte. Tevens wordt hier een doorlopende tentoonstelling over Halderbergse zouaven gepresenteerd.