Описание и изображение, которые вы разместили, не дают много информации. Но из моего опыта 3D-реконструкции кажется, что внешние или внутренние параметры неверны.
Таким образом, что-то пошло не так с вашей калибровкой. Вы должны получить внутреннюю калибровку обеих камер и внешнюю калибровку между вашими камерами.
Внешние параметры представляют относительное положение и ориентацию между камерами. Таким образом, если они неверны, может случиться что угодно, в основном облако точек чрезвычайно вырождено.
Внутренние параметры описывают, как 3D-точки проецируются на 2D-изображение. Таким образом, если у вас неправильные внутренние параметры, ваше облако точек деформируется линейным преобразованием (предполагается, что есть незначительное радиальное/тангенциальное искажение или искажение более высокого порядка соответственно).
Существует много хорошей литературы, посвященной теме 3D-реконструкции и стерео. Одной из наиболее важных из них является книга "Multiple View Geometry" от Ричарда Хартли и Эндрю Зиссермана.
