Как остановить перекрывающиеся фрагменты при изменении ориентации?

У меня есть приложение, которое использует фрагменты для отображения данных. Основное действие, показанное ниже, управляет фрагментами с recyclerview внутри него, и когда я меняю ориентацию, у меня, похоже, одно recyclerview перекрывает другое. При каждом изменении ориентации создается новый фрагмент. Как мне это исправить? Любая помощь будет отличной

public class MainActivity extends AppCompatActivity
        implements NotesFragment.OnFragmentInteractionListener, EditFragment.SaveFragmentItem {

    EditFragment editFrag;
    NotesFragment notesFrag;

    FragmentManager fragmentManager;
    FragmentTransaction fragmentTransaction;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        Toolbar toolbar = (Toolbar) findViewById(R.id.toolbar);
        setSupportActionBar(toolbar);

        notesFrag = new NotesFragment();
        editFrag = new EditFragment();

        fragmentManager = getSupportFragmentManager();
        fragmentTransaction = fragmentManager.beginTransaction();
        fragmentTransaction.add(R.id.container1, notesFrag);
        fragmentTransaction.commit();

    }

   ....
}