房屋交易- 跟買方收違約金的時機？ 跟買方收違約金的時機？

最近賣房遇到買方延遲交屋的問題，原本45天，中途說要改成60天，那時候想說沒關係，就無條件同意讓他延遲變60天，
結果在預定的時間前，就急著要求趕快清空、整理，他們要驗屋，我也是都盡力配合，甚至約驗屋的時間剛好是我開刀出院當天，
一開始問他能不能晚一天驗屋，他說沒辦法，一定要那天，叫我中午出院，下午去處理….
雖然有點不爽但想說算了，趕快把事情結束，結果他突然又說他銀行來不及，所以要再要延後交屋，所以也不用那麼快驗屋了…..
然後又抓了一個10天後的時間，我也是答應了，沒想到昨天又打來說他後來發現驗屋當天有事，又要改到3天後驗屋….
聽到這個整個火都來了，直接嗆他「你以為你是跟代銷買房子？可以隨時配合你？好！就你說的那天驗屋，但如果延後交屋，違約金就照合約走」
雖然才少少的幾萬元，但代書跟仲介就一直說服我不要要求違約金….
我堅持問代書違約金改什麼時間點收取，但代書也講不清楚什麼時間點要收這個違約金….
感覺就是流程一直走下去，怕到最後卡住或是變成交易完成後才處理違約金的問題。
想請問有沒有人有經驗，這種違約金要在什麼時間點？還有怎麼處理？
--