ハウスメーカーとの契約解除について

現在ハウスメーカーと揉めています。

一年くらいハウスメーカー選びをして、
地場のハウスメーカーと契約しました。
それに併せて、土地も購入しています。
土地と家は住宅ローンです。
土地の支払いは終わっており、ハウスメーカーには、契約金で100万円を支払いしているのが現状です。
ハウスメーカーには、家と外構込みで見積もりもお願いしています。
契約後も、契約図面に沿って内装、住設の打ち合わせを4ヶ月行い、だいたい決まったので確認申請出す直前でした。

そこで、私が要望どおり車2台が駐車出来るのか自分で線引きして確認したところ、車を駐車するスペースがありませんでした。
その後、ハウスメーカー担当者も連れていき、確認してもらってます。

駐車させるには、部屋を二部屋減らして、リビングも狭くする必要があります。
または、全く別のプランを考えると言っています。それで、インナーガレージ込の建物にプラン変更を提案してきました。
それに伴い、家のデザインや間取りが全く異なったものを提案してきた上に、見積もり額は上げてきました。

契約以降、契約図については我々からは何も変えずに打ち合わせを進めてきて、ここに来て、何も叶わないという状況に苛立ちと、今更プランの再検討はモチベーション的にも無理です。

また、契約図で話がまとまったから契約したのに、全く別のプランにする必要がある場合、無条件で解約して、契約金の全額返金可能でしょうか？

先日、ハウスメーカーの担当と部長と面談しました。
初めて会ったその部長は、最初から謝る気もなく、なにが悪いのか！？的な態度で絶句しました。

そして、契約金は返せないと最初はゴネており、
最終的には社長に確認するとのことで、後日連絡がある予定です。

あまりあの態度は期待できません。
強く交渉するために確認したいのは、
契約図は、法的に効力ありますか？

こちらから、意図した変更ではないが、
車が駐車出来ないので、変更しなければならないが、それには私も納得できません。
だから、ハウスメーカーを変えたい、契約金も契約図面が破綻していたので返してもらいたいのが要望です。

パースにも必ず車2台が止まる想定のものを毎回もらいましたし、カーポートも何度も見積もってもらっています。

アドバイスをよろしくお願い致します。