两年前过了N1不至于听不懂吧

我也是，来日本十年了都还听不懂

那需要商务日语水平，比N1要求还高的

问题可能出在“懂”上面，通常这个字的含义是“我能够把它转换成母语（中文）理解”。
我估计你的同学说的绝大部分话，有充足时间你都能用上述方法理解，但是你采用的这种理解方式需要转换时间来做代价的，而对话时是不会给你有这个时间的，比如同学只是对你说“おはよう”，你会觉得他说得太快吗？我想应该不会吧？因为这句话“太简单”，没有必要“翻译”成早上好，你可以直接理解，然后可以直接“接收”下一句话，直到出现跟不上，结果是“他们说得太快了”，导致积压，崩盘。
所以你需要做的是尝试尽量“直接用日语来理解”，然后在日语环境里作出反应。习惯这一部后，有出现陌生的、无法理解的单词时，建议及时提问，在你这个程度时对你最有帮助的一句话是：OOってなんですか？
这是我的心得，希望对你有帮助。