電梯在一座12層的樓房內上下運行，到2樓時，如果有人上或下，管理員就在盒內放入一個小球，到3樓時，如果有人上或下就放兩個小球，到4樓時，如果有人上或下就放三個小球，以此類推，并且這個規(guī)律不變，如果無人上或下則不放小球，一次，電梯從1樓開始上行，到達頂層時共有4層樓無人上或下，管理員共放了32個小球，請問有哪幾層樓無人上或下？簡要說明你的理由。