Отредактировать файл ~/.config/openbox/rc.xml, закомментировав в нём строки
<mousebind button="Up" action="Click">
<action name="GoToDesktop"><to>previous</to></action>
</mousebind>
<mousebind button="Down" action="Click">
<action name="GoToDesktop"><to>next</to></action>
</mousebind>
Комментирование выполняется тегами <!-- -->.