前几天在十字路口，红绿灯坏了，我由南向北走，一个货车由东往西走，他车速比较快，到中间我刹车不及时撞他了。他的车没什么事，我的比较严重，水箱保险杠，都要换。按理说我应该礼让他，因为他是货车又没减速，交警的意思他也有次责，但也没有明说。调解员说让我认全责，反正明年保费肯定没有优惠了，让货车司机给我几百块钱，不动他的保险，就算不认也有可能判全责，我应该怎么办？