灵活就业人员所缴纳的社会保险，如果中途不交了，也是不可以退回的。因为社会保险的缴纳实行个人账户累计制，也就是说，退休之前，个人的社会保险账户的资金是一直在保留在个人账户里的，没有特殊原因是不能够退还给个人。