土地契約後の解除について

住宅ローン特約解除期限今週末まで。
ローン本審査に必要な建築請負契約がまだのため、ローンの承認が降りていません。(事前審査は承認済み。)理由は、建築会社の担当者とのトラブルにより打ち合わせが遅れ、設計図書作成が間に合わなかったこと。そして、請負契約書や約款に施主側に大変不利な文言が入っており、協議と修正を求めるも取り合わないとのことからです。
家づくりは諦めるしかないけれど、(1)土地契約は違約金なしで解除できるものでしょうか？
売主は建築会社ではないため、(2)土地契約の解除や違約金減額交渉などは自分でやるべきでしょうか？(契約の時は、建築会社に売主との間に入ってもらいました。)
建築業者は何も損することはないので、『契約しないならどうぞご自由に』といった感じです。

請負契約等書類の修正依頼箇所については、土地の着工日、完成予定日、引渡予定日を明示すること。そして、工期延長は建築業者の責めに帰すことがないという文を削除。また、遅延損害金は重大な過失があったときのみ、請負金額から発注済みの資材等の額を引いた額に、1000分の1を乗じた額を日割りで支払うというところを請負金額から10%で計算した額を日割りにすると変更すること。

引渡予定日も計算基礎額もあやふやで、乗率も低すぎて何の意味もない条項であると感じています。他にも工程表の提出を求めましたが、出したことがないなど。さらに、瑕疵担保責任についての明示もなく、『今までみなさんこれで契約してもらっている』とのこと。
担当者とのトラブルでは、期日を守っていただけないことや打ち合わせ内容を忘れて何度も同じことを聞いてくるなどが原因でした。その言い訳の多くが『忙しいから仕方ない』でした。こちらに不利益にならないように配慮するどころか、『(こちらが)不安でしょうからもう少し時間をかけましょう』といつまで経っても進まないのです。

以上のことから、せめて着工日等の日時の明示や、引渡日を契約書に記載してもらい、遅れた場合は、きちんとした額の遅延損害金を払うこと取り決めたいと思いました。

損してでも家を諦めるべきですが、損を少しでも減らしたいため、土地の違約金についてお尋ねします。その他アドバイスがあればよろしくお願いします。