契約解除について

注文住宅の契約解除について

10/30に某工務店と契約いたしました。
場所は我が家の近くのファミレス。
私は所用があり途中で離席してしまったので、主人の話しからでの相談でありますが、どうかご意見お聞かせください。

HM巡りもひと段落し、A社（某工務店）に御社で家づくりを進めたい旨お伝えし、今後の話しをしましょうとなりました。
10/30にファミレスでお会いする事となり、
持ち物は不要との事でしたが、念のため印鑑を持参しました。
退席するまでの間ではありますが、契約に関する説明を細やかには説明頂きました。
主人が帰宅した後聞いた話しは
○署名捺印してきた
○収入印紙代1万円払ってきた
○契約時の写しは次回の打ち合わせ時に渡す
○契約書は正と副があり、正にだけ署名捺印。副は次回署名捺印。

この状態で終わって、後日電話でのやり取りの中で次回の打ち合わせは11/13となりました。

A社に依頼したのは価格面でしたが、図面などの提案力やセンスがずっと不安で迷いがあり、やはり契約白紙にして一度ゆっくり考えたいと思いました。
契約書の写しがない事、10/30以降新しい図面を頂いたりなどの実費が発生するような事が無かったことから、契約解除出来ると思い、11/9に先方に契約解除の電話を入れました。
営業担当の方からは「上に確認しないと何とも言えない。また連絡する」と言うことなので、上に話してください。お願いしますとお伝えして終わりました。
11/11に連絡があり、「実はまだ上には話していない。何故ならば話せば違約金が発生して○○様（私達）が困るだろうから。もう一度話し合いましょう」と言われました。大変申し訳ないけども、1から考え直したい、白紙にして下さいと改めて伝えたら、「顧問弁護士に話して違約金の請求をする」と言われました。

11/12に主人から営業担当の方へ連絡。
長時間話した結果、契約を白紙にする方向で上には話す。明日午前中また連絡するとおわりました。
11/13 連絡を待っていたが午前中には連絡来ず。
営業担当に連絡したところ、上から連絡すると言われました。
その後管理部という方から連絡。
全ては書面で送付する。
何も答えない。何かあればそちらも書面で返答してくれ。
という電話でした。
その言い方がとても高圧的で、何か私達が重大な違反をしたのかと思う程でした。
その書面がいつ届くかは分かりませんが、質問です。
前振りが長くなってしまいましたが、
○契約書の写しが手元にない
○正副両方に署名捺印するところ、副には署名捺印していない
○収入印紙代しか払っていない
○収入印紙代の領収書？なども含め、10/30に貰った資料などは1つもない
○色々調べたところ、契約前には建築士からの重要事項説明か必要との記載を読んだのだが、建築士からの説明はなし。重要事項説明書の説明もなし。

以上の事から契約解除出来るのではないか？と思っているのですがいかがでしょうか？

顧問弁護士、違約金と強く言われていて、書面がいつ届くかも分からず不安な時間を過ごしています。
このようなケースでも違約金は発生するものでしょうか？