Самый эффективный способ построить одномерный массив/список/вектор неизвестной длины с использованием Cython? Или этого никогда не следует делать?

Добавление списков Python — хорошо оптимизированная операция в CPython. Python не выделяет память для каждого элемента, а постепенно увеличивает массивы указателей на объекты в списке. Так что простое переключение на Cython здесь не очень поможет.

Вы можете использовать контейнеры С++ в Cython следующим образом:

from libc.math cimport log
from libcpp.list cimport list as cpplist

def main(int t):

    cdef cpplist[int] temp

    for x in range(t):
        if x> 0:
            temp.push_back(x)

    cdef int N = temp.size()
    cdef list OutputList = N*[0]

    for i in range(N):
        OutputList[i] = temp.front()
        temp.pop_front()

    return OutputList  

Вы должны проверить, ускорит ли это процесс, но, возможно, вы не сильно ускоритесь.

Другой способ - использовать массивы numpy. Здесь Cython очень хорош в оптимизации кода. Поэтому, если вы можете жить с массивом numpy в качестве возвращаемого значения main, вы должны это учитывать и заменить построение и заполнение OutputList некоторым кодом Cython, выделяющим и заполняющим массив numpy.

Для получения дополнительной информации см. http://docs.cython.org/src/tutorial/numpy.html

Спросите, нужна ли вам помощь.

ОБНОВЛЕНИЕ: код должен быть немного быстрее, если вы избегаете поиска метода в обоих циклах:

from libc.math cimport log
from libcpp.list cimport list as cpplist

def main(int t):

    cdef cpplist[int] temp

    push_back = temp.push_back
    for x in range(t):
        if x> 0:
            push_back(x)

    cdef int N = temp.size()
    cdef list OutputList = N*[0]

    front = temp.front()
    pop_front = temp.pop_front()
    for i in range(N):
        OutputList[i] = front()
        pop_front()

    return OutputList  

build1darray.pyx:

• указывает типы для переменных индекса
• отключает проверки безопасности
• может использовать несколько процессоров (это полезно для больших t и v.size() )

#cython: boundscheck=False, wraparound=False
from libc.math cimport log

from cython.parallel cimport prange

import numpy as pynp
cimport numpy as np

# copy declarations from libcpp.vector to allow nogil
cdef extern from "<vector>" namespace "std":
    cdef cppclass vector[T]:
        void push_back(T&) nogil
        size_t size()
        T& operator[](size_t)

def makearray(int t):
    cdef vector[np.float_t] v
    cdef int i
    with nogil: 
        for i in range(t):
            if i % 10 == 0:
                v.push_back(log(i+1))

    cdef np.ndarray[np.float_t] a = pynp.empty(v.size(), dtype=pynp.float)
    for i in prange(a.shape[0], nogil=True):
        a[i] = v[i]
    return a

The 2nd part is ~1% of the first loop therefore it doesn't make sense to optimize it for speed in this case.

<math.h> имеет extern "C" { ... } в моей системе, поэтому libc.math.log работает.

PyArray_SimpleNewFromData() можно использовать, чтобы избежать копирования данных за счет самостоятельного управления памятью для массива.

Что вы можете сделать, так это подсчитать, сколько элементов соответствует вашим критериям, а затем выделить достаточно большой массив numpy для этих элементов.

# pseudo code
def main(): 
   count = 0
   for i in range(t):
       if criteria: 
            count += 1

   cdef numpy.ndarray[count] result

   int idx =0
   for i in range(t):
      if criteria:
          idx += 1
          result[idx] = value