別荘地だが普通住宅は建てられないか

以前相談させていただきましたが、専門家の方から『無理』の様な回答でしたので引越しをどうしたらよいか悩みます。

ただ、現在のマンションが思ったより良い条件で売却できそうなので前向き考えたいと思います。

そこで無知な質問ですが
西軽井沢や御代田町などには高級別荘や戸建ではない一般的な戸建てメーカーさんや建築家の方はいらっしゃらないのでしょうか？

探すも皆さんお金持ち向けばかりな気がしてしまい(自分に余裕がないのでお恥ずかしいですが)
地元の方が建てられる家はあると思うのですが、何故こちらだと無理だと言われるのかと...
断熱や価格の上昇など自然な土地などで別途費用があるとは理解しています。

自分達の可能な範囲で全て計画予定ですが、工務店さんやHMさんに相談に行くにも場違いな気がしてしまいます。