Как мне забрать у собственника остатки денег при аренде жилья?

Мы сняли жилье, на условиях собственника, заплатили за месяц, но через день мы отказались там жить, собственник согласился отдать всю сумму пока не найдет человека. Через десять дней звонит и сообщает что не нашёл и удерживает с нас за эти дни, но фактически мы там не жили, ни дня. И отдает часть денег и говарит что может вообще не отдавать ни копейки. Как мне забрать у собственника остатки денег? Мы с собственником не заключали письменного договора, но у меня есть переписка и звонки с разговорам запись