很抱歉听到您遇到了问题。
针对您描述的情况，可能是以下原因导致音量调节时仍会有语音回复：
1. 确保您的音箱固件已经更新到最新版本。使用小爱音箱App或者米家App检查并进行升级。
2. 检查您设置的音量指令是否正确，确保语音指令中没有引起误解的关键词或短语。
3. 尝试重新启动音箱，有时候重启可以解决一些临时问题。