擁壁のある土地の購入について

１４０㎡（西・東面セットバック含１２㎡）
第１種低層。４０／８０
画像参照ください。

建て売り予定だったところを土地で購入し、建て売りを作る予定の工務店で注文住宅をお願いすることにしました。
古屋付きの状態だったを１ｍ低く造成しての引き渡しでしたが、予定外のことが出てきて、キャンセルすべきか悩んでいます。

・西側道路より２ｍ高。階段上る。
・南側は地主所有２階建てアパート。１ｍ低く、３ｍ離れて建っているので陽当たりは良好。ただし、アパートの階段が面している。
南西角にオープン駐車場（上部はデッキの予定）
・東側は９０cm幅の道路より下がっていて、３ｍ（南）～６ｍ（北）の擁壁。その基礎の部分から高さ１ｍの壁を設置。
・北側は地主の家族が住む２階屋。元々隣家と同じ高さだったところ今回１ｍ土地を削るに当たり、こちらの敷地に底部７０ｃｍ、高さ１ｍの斜めの擁壁を設置することに。

と、セットバックあり、東と北に新しく壁あり、上からのぞかれるという土地です。
でも、わずかながら南東に庭があり、ウッドデッキもあり、駅６分ながらゆったりとした住宅地の割には手頃な物件で、気に入っていました。
ガーデニング好きなので、家の周りの通路幅を広げるために、西面は家を小さくして、北面は３０ｃｍ高さで砂利敷きにして、手入れができるようにしました。

造成完成間際になり、予定外のことがでてきました。

問題①
東道路の擁壁の基礎が土地の内側の方まできていて、新しい壁の設置場所が５０ｃｍ内側にする（家からの距離は１ｍから５０ｃｍになる）ということに。
提案１）以前からの擁壁と壁の間（奥行き７０ｃｍ）は掘り返した土に黒土を足して花壇にする。
提案２）北側同様、砂利敷きにして３０ｃｍ高さを上げれば、通路の支障が少なくなる。

問題②
その東側擁壁から南面に幅２ｍ高さ２ｍほどの壁ができた。というのは、隣のアパート側の敷地にあり、擁壁の安全上からも撤去できない。でこぼこの仕上げを隠すためにも、分厚い壁を作ることになったということ。これについては、事前の話が無く、「知っていたが、隠すつもりはなかった」との説明。

いろいろ気になる点があったものの、「やっと巡り会えた！」土地でガーデニングプランをあれこれ考えていた中で、この２点はショックで、仲介の不動産屋を通して交渉しました。
壁を無くすことや位置・高さの変更はできないとのことで、最終的に
「造成が済んでから現場を確認して納得できなければ白紙に戻してよい。」
「５０万円値引き」
ということになっています。

私としては、やっと間取りが決まったのにまた家（１階だけ？）を小さくするしかないのか、通路を３０～４０ｃｍ上げるために基礎を１０ｃｍ上げた方がよいのか、それでもなおその物件がよいのだろうかとわからなくなってきました。
主人は「やめた方がいいんじゃない」と言ってますが。

長文を読んでいただきありがとうございます。
週明けには決めなくてはいけません。
ご意見を頂けると嬉しいです。