直訳すると

「その壁から離れた」

意訳すると

「突拍子もない、ばかげた、普通じゃない」

その壁というのが普通と普通じゃないの境目であり、その壁がoffしていて、つまり突破られているので、このような意味になるのでしょう。

His opinion is off the wall.
彼の意見は突拍子もない。