はじめましてアース・アーキテクツの鷲巣（ワシズ）といいます。
4人家族でしたら問題なく建築できますよ。
建蔽率と容積率にもよりますが、一般的な60％、200％→160％でしたら
セットバックして、かつ外壁後退があったとしても30坪位は残るんじゃ
ないでしょうか。
※160％とあるのは道路幅による容積率の計算によります。
道路後退部分には車を置けばいいと思います。
道路後退前の土地の面積（セットバック後）を仮に34坪として計算しますと
34坪×60％≒20坪、そして総2階で建てることを考えると40坪（容積率117％）
という計算結果です。
建蔽率ギリギリというのも無理がありますので、8掛け位で考えても20坪×0.8
＝16坪（建築面積）→総2階建てで32坪になります。
32坪あれば普通の大きさの住宅ですよ。
ご家族４人で住める25坪の住宅のプラン「1500万円の家」のURLを下記に添付
いたします。
http://earth-architect.sblo.jp/article/174114756.html参考にして下さい。
アース・アーキテクツ一級建築士事務所 鷲巣
