設計士事務所とトラブルについて

建築設計事務所と家づくりを進めている最中に起きた問題でとても困っています。
まずはじめに、建築設計事務所との契約について、300㎡以下（ほとんどの一般住宅に該当する）の建築物設計は、書面での契約が義務付けられていないようです。これを踏まえまして質問致します。
書面での契約を交わさないまま、双方の合意のみで設計を進めてきましたが、結果的に当初の希望スケジュールの遅延の末、予算超過（工務店見積もり75%オーバー）も重なり、現在でも工務店が決まらず、着工に至っていません。
現時点まで、設計士と金額のやり取りはありません。こちらとしては、折につき契約金の支払いの意思表示や、書面での契約を取り交わしたい旨伝えて参りましたが、「お金には困ってないので、次にお会いした時でも….」などと言われ、上手くかわされてきたまま今に至ります。
スケジュール遅延については、工務店に見積もりを依頼した時点（＝実施設計終了）で、既に6か月程希望より遅れていました。プランニング提示の時点で既に期日が迫っており、その後、基本設計の段階でも詳細な打ち合わせを設計士側から設けられることはなく、何も言われないままにコトが進められるのはまずいだろうと思う点について、要望を度々LINEで伝えてきました。
しかし、最終的には模型と2枚の平面図及び1枚の立面図の提示のみで実施設計へと移行し、見積もり依頼の末、予算75%オーバーだったというのが全体の流れです。
設計士の当初の説明では、遅くとも今月には竣工を迎えている予定でした。家族も、これまで期待して待ち続けてきたので、相当落胆しています。
当方としては、希望通りの期日で着工出来なかったことにより、家賃支払いの延長や、計画中に発生したウッドショック値上げによる予算増額、（希望通りに進んでいればウッドショックを回避出来た）、住宅ローン減税制度変更による減税額の減少、すまい給付金制度終了等、額にして450〜500万程度の損害が生じています。
予算超過については、提示された見積もりが75%オーバーですから、ウッドショック値上げだけでは説明がつかず、設計そのものにも問題があったことは明らかです。VE案で対応出来るレベルではなく、基本設計からやり直しとなると、いつになったら竣工を迎えられるのか全く見えない状況です。
設計士の発言からは、私から契約破棄を言い出す事を期待している感もあります。因みに、ここまでの成果報酬は要らないと言っています。
成果報酬の請求を放棄して逃げ出したい思いなのでしょう。
私としては、設計士を変えるにしても、上記損失は解消出来ませんし、家賃については最低でも先一年は延長して支払わなくてはなりません。ウッドショックが沈静化しても、木材価格は今後上げ止まり、坪+5万程度UPが定着すると言われています。
ですから、このまま今の設計士と契約を解除せず、計画を再スタートさせるにしても、損害分を設計監理費を削減することで充てて欲しいというのが正直な思いです。タダ働きでも補完出来ませんが。
これまで、設計士からは重要事項説明も受けておりませんし、解約要件の約款も確認しておりません。
金額的に解決出来る問題だけではなく、希望したスケジュールは、家族のライフプランの要素もあり、それを崩されたというやるせない思いもあります。
以上が現在私が抱えている問題です。
書面での契約を交わしていない状況で、業務不履行を理由にこちらから解約を求め、損害賠償請求は可能でしょうか。
もしくは、建築士法違反と考えられる、重要事項説明の未実施や免許不提示を盾にして、損害賠償ではなく建築審査会にかけますけどどうしますか？と言った示談交渉として進めるべきでしょうか。
現段階で、損害を限りなく減らす為に、私はどのような対応と交渉を進めていけば良いでしょうか。
お知恵をお貸しいただけるとたいへんありがたいです。宜しくお願いします。