Прежде всего, см. Насколько большим может быть массив Python? и Numpy, проблема с длинными массивами

Во-вторых, единственное реальное ограничение - это объем памяти, который у вас есть, и то, как ваша система хранит ссылки на память. Ограничений по спискам нет, поэтому Python будет работать до тех пор, пока не закончит память. Две возможности:

1. Если вы работаете в более старой ОС или в той, которая заставляет процессы использовать ограниченный объем памяти, вам может потребоваться увеличить объем памяти, к которой процесс Python имеет доступ.
2. Разбейте список на части. Например, выполните первые 1000 элементов списка, выберите и сохраните их на диск, а затем выполните следующие 1000. Чтобы работать с ними, выделяйте по одному фрагменту за раз, чтобы у вас не закончилась память. По сути, это тот же метод, который базы данных используют для работы с большим объемом данных, чем умещается в ОЗУ.

MemoryError исключение, которое вы видите, является прямым результатом нехватки доступной оперативной памяти. Это могло быть вызвано либо ограничением в 2 ГБ на программу, установленным Windows (32-битные программы) или недостаток доступной оперативной памяти на вашем компьютере. (Эта ссылка относится к предыдущему вопросу).

Вы должны иметь возможность расширить 2 ГБ, используя 64-битную копию Python, при условии, что вы используете 64-битную копию Windows.

IndexError будет вызвано тем, что Python обнаружил исключение MemoryError перед вычислением всего массива. Опять же, это проблема памяти.

Чтобы обойти эту проблему, вы можете попробовать использовать 64-битную копию Python или, что еще лучше, найти способ записывать результаты в файл. Для этого посмотрите на массивы с отображением памяти numpy.

Вы должны иметь возможность выполнить весь набор вычислений в одном из этих массивов, поскольку фактические данные будут записаны на диск, и только небольшая их часть будет храниться в памяти.

Python не накладывает ограничений на объем памяти. Однако вы получите MemoryError, если у вас закончится ОЗУ. Вы говорите, что у вас 20301 элемент в list. Это кажется слишком маленьким, чтобы вызвать ошибку памяти для простых типов данных (например, int), но если каждый элемент сам по себе является объектом, который занимает много памяти, возможно, у вас заканчивается память.

Однако IndexError, вероятно, вызван тем, что ваш ListTemp имеет только 19767 элементов (с индексами от 0 до 19766), и вы пытаетесь получить доступ после последнего элемента.

Трудно сказать, что вы можете сделать, чтобы не достичь предела, не зная точно, что именно вы пытаетесь сделать. Использование numpy может помочь. Похоже, вы храните огромное количество данных. Возможно, вам не нужно хранить все это на каждом этапе. Но этого нельзя сказать, не зная.

Если вы хотите обойти эту проблему, вы также можете использовать полку. Затем вы должны создать файлы, размер которых будет соответствовать возможностям вашего компьютера, и помещать их в оперативную память только при необходимости, в основном записывая на жесткий диск и извлекая информацию обратно по частям, чтобы вы могли ее обработать.

Создайте двоичный файл и проверьте, есть ли в нем информация, если да, создайте локальную переменную для ее хранения, иначе напишите некоторые данные, которые вы сочтете необходимыми.

Data = shelve.open('File01')
   for i in range(0,100):
     Matrix_Shelve = 'Matrix' + str(i)
     if Matrix_Shelve in Data:
        Matrix_local = Data[Matrix_Shelve]
     else:
        Data[Matrix_Selve] = 'somenthingforlater'

Надеюсь, это звучит не слишком архаично.