車の騒音対策

高台に軽量鉄骨造の新築を建てました。地盤は切土で全体的に大変硬い土地です。
家の裏が急勾配の坂道(すれ違うのがやっとの一車線)になっていまして、下ってくる車の音はさほど気にならないのですが、登ってくる車のエンジン音が響きます。
タイヤや風切りのシャーシャー音ではありません。
軽自動車に乗ったことがないのでわかりませんが、ベタ踏みしてるのでは？と思うくらい頑張って登ってる感じの音が出ています。

窓はアルミ樹脂複合サッシでLow-E複層トリプルガラスです。防音ガラスではありません。
断熱材はグラスウール16Kで、外壁は磁気タイルを使用しています。
第一種換気を採用したため、お風呂やトイレの換気扇、2階につけたエアコンくらいしか大きな穴はありません。
隣接には家は無く開けています。今後建てば多少は防音になると思いますが…

建物は道路より高い位置にありますが、2軒分くらい離れたところで道路の方が高くなります。坂の途中に家があります。
気になるのは家が建ってる土地より下から登ってくる時の音です。
車が通った時の揺れは一切感じません。

道路側にフェンスやブロック塀をまわしても意味がないだろうと外構屋さんに言われています。
内窓で解決するでしょうか？できればでこぼこな内装は避けたいのですが…
また2階の方がうるさく感じるのは普通ですか？
いい対策がありましたらご教授ください。