исключение потока произошло в gevent при использовании python

Когда я запускаю этот код Python, но возникает какая-то проблема с потоком. Я ищу в Интернете, но я не нахожу ответа.

import urllib2
from time import time
import gevent
import numpy as np

tmp = np.loadtxt('data.txt', dtype=str)
visit_list=tmp[:20]

result_list =[]

def visitUrl(u):
  print 'start %s' %u
  begin = time()
  data = urllib2.urlopen(u).read()
  print len(data)
  print 'end-------- %s' %u
  end = time()
  print ('%s ::begin=%s ::end= %s::end-begin= %s' %(u, begin,end, end-begin))

for i in range(3):
    reqs = []
    begin = time()
    for u in visit_list:
        start = time()
        reqs.append(gevent.spawn(visitUrl, u))
        stop = time()
        print ('%s $$$ %s' %(u, stop-start))
    #reqs = [gevent.spawn(visitUrl, u) for u in visit_list]
    gevent.joinall(reqs)
    end = time()

    print 'ciclie %s=%s' %(i, end - begin)
    result_list.append(end-begin)

эта проблема:

Exception KeyError: KeyError(4475468392,) in <module 'threading' from '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.pyc'> ignored

person Djvu    schedule 21.05.2012    source источник
comment
Я запустил ваш код, и он отлично работает. Какая у вас ОС? Какая версия python и gevent? Какие URL находятся в data.txt?   -  person Aleš Kotnik    schedule 21.05.2012


Ответы (1)


Согласно этому потоку ваш основной цикл заканчивается прежде чем все потоки сделают свою работу.

Просто вызовите gevent.shutdown() в конце или увеличьте время ожидания при вызове joinall:

gevent.joinall(reqs, timeout=30)
person Aleš Kotnik    schedule 21.05.2012
comment
Пожалуйста. Если я решил вашу проблему, рассмотрите возможность поставить галочку для этого ответа, чтобы немного компенсировать мои усилия. ;-) - person Aleš Kotnik; 21.05.2012