应该拆除。

因为灌南小庙建筑结构老化，存在安全隐患，拆除可以保障周边居民的人身安全。

此外，小庙所在区域是市中心商业区，拆除小庙可以为城市的发展提供更多的空间和资源。

同时，为了保护历史文化遗产，可以在拆除之前对小庙进行必要的文物保护和记录，以便日后进行文化传承和历史研究。

总之，拆除灌南小庙可以更好地保障人民安全和城市发展，同时也可以兼顾历史文化保护。