概算見積の間違いについて

設計事務所から提出された概算見積額が1000万円（20％）安く提示されて契約してしてしまいました。契約後の打ち合わせで追加した希望仕様を抜きにして同じ内容の仕様の部分だけで1000万円、総額2000万円近く上がり、当初明示していた予算から大幅に予算オーバーです。このような状況にもかかわらず直ぐに施工会社と契約しないと売却したマンションの明け渡し期限に間に合わない、納期を優先させるため確認申請を申請すると言われました。

見積が上がった理由は工務店が延床×単価で計算して延べ床面積を間違えたのが原因と聞かされましたが、ミスの金額を1/4程度に過少申告されました。AIを駆使し、実際は冒頭説明した1000万円規模のミスだったことが分かりましたが、3社が共謀して誤魔化そうとしたようです（録音有）。また、ミスと言いつつ、予算に合わせて見積もりを作成したという工務店の社長の言質もとれています（録音有）

このような状況下で信頼関係が破綻し、契約解除を打診しましたが解除料500万円以上請求されています。

はっきり言って気持ち悪いので、この設計事務所で建てることは考えていません。
契約解除、契約取消は可能でしょうか。