Что делать? имею ли я право не возмещать эту сумму?

Пойти к юристу и изложить ситуацию вменяемо. в частности, ответить на вопросы: откуда взялся ущерб, как и при каких обстоятельствах он был причинен, чем, какими документами, он подтверждается, каков его размер, заключался ли с вами договор о полной материальной ответственности и т. д.
если говорить грубо, то если ущерб превышает ваш среднемесячный заработок-работодатель не вправе взыскивать его своим приказом и может обратиться в суд. приказом работодателя может быть взыскан лишь тот ущерб, который не превышает вашего среднемесячного заработка, при этом удержания из зарплаты не могут превышать 20% ежемесячно вплоть до полного погашения ущерба.