本人通过中介机构买了台二手车，同时也是在湖南欣湘贷的款，（本人签订的贷款合同只是湖南欣湘代理的一个金融品牌—佰仟融资）由于本人想更换新车，所以在贷款后第五个月就还清了所有贷款，而且自己也已经缴纳了部分违约金，现在问题就是，我之前他们公司缴纳了2000块钱保证金，欣湘贷款公司说由于我违约，所以这2000千块钱不予退还。但是我在佰仟金融已经交付违约金了，现在这里还有扣我的违约金，所以我觉得不合理。而且我签订的贷款合同上没有提到提前还款，保证金不予退还，我同时也打了电话给佰仟融资，他们说，他们并未收取客户保证金。所以想咨询下，保证金他们有理由扣我的吗？