ハウスメーカーとの解約金について

あるハウスメーカーと契約中なのですが、間取り検討の段階で大幅に予算を超えてしまったため解約に向けて協議中です。
契約事の解除のためある程度の違約金は致し方無いと思いつつも金額的に妥当なのかどうか一般的なご意見をいただきたく質問致します。

■契約時の総請負額：4000万円
■違約金：80万円
　※内訳：総請負額に対する1.5%の計画図作成費用
　　　　　+敷地調査費用の実費

＜状況の概要＞
①建築予算は契約前の段階で営業担当に伝えていた。
②間取りプランが定まっておらず、また見積額が予算に収まっていない状態で契約してしまった。（お恥ずかしい限りですが太陽光、エネファームなどが契約時の見積りには含まれていたためそれらを外せば予算に収まる目途があった）
③契約後も間取り変更を数回行い、結果的に建物サイズは小さくなったが本体価格が増額してしまった。
④契約時は概算値だった付帯工事（水道、ガス、冷暖房など）、地盤改良費の詳細が明らかとなり大幅に増額した。

上記③④が予算越えの主な要因ですが多少のVEでは予算に収まらない金額のため解約の判断に至った次第です。
契約時から現在に至るまで間取りすら決まっていない状態ですが冒頭の違約金は妥当なのでしょうか？
ご意見、見解をお願いいたします。