С многопоточностью я получаю 9 «попаданий», без многопоточности я получаю 214. Что происходит?

Это решение представляет собой переписанную, а не отлаженную версию моего исходного кода. Повторная сборка с нуля была для меня проще и поучительнее, но я не могу сказать вам, что пошло не так с исходным кодом.

Сценарий, похоже, работает хорошо — он подбирает магическое число 214 hits в цикле 5000.

Хотя он отвечает на мой вопрос, код далек от совершенства, и я рад принять ответы, которые строят/улучшают его.

Не будучи уверенным в том, что такое этикет SO для задавания вопросов в ответах, я называю следующие необязательные темы для обсуждения (а не вопросы!):

1. Мысли о requests надстройке: кажется, это гораздо более простая версия того, что я пытался сделать?
2. Лучший способ оптимизировать эффективность потоков? Существуют ли какие-либо эмпирические правила относительно соотношения рабочих и чанков, или это просто метод проб и ошибок?
3. Лучший способ raise exceptions при использовании requsts и threading?

Рабочее (но несовершенное) решение

import concurrent.futures as cf
import requests
from bs4 import BeautifulSoup
from datetime import datetime



hit_list =[]
processed_list=[]
startrange= 100000000
end_range = 100005000

loop_size=range(startrange,end_range)
workers= 5
chunks= 20
startTime = datetime.now()



def id_filter(_range):
    url = 'https://ndber.seai.ie/pass/ber/search.aspx'
    with requests.session() as s:
        s.headers.update({
            'user-agent': 'For more information on this data collection please contact ######'
        })    
        r = s.get(url)   

        soup = BeautifulSoup(r.content, 'html.parser')
        viewstate    = soup.find('input', {'name': '__VIEWSTATE'          }).get('value')
        viewstategen = soup.find('input', {'name': '__VIEWSTATEGENERATOR' }).get('value')
        validation   = soup.find('input', {'name': '__EVENTVALIDATION'    }).get('value')

        for ber in _range:            
            data = {
                'ctl00$DefaultContent$BERSearch$dfSearch$txtBERNumber': ber,
                'ctl00$DefaultContent$BERSearch$dfSearch$Bottomsearch': 'Search',
                '__VIEWSTATE'                                         : viewstate,
                '__VIEWSTATEGENERATOR'                                : viewstategen,
                '__EVENTVALIDATION'                                   : validation,
            }        
            y = s.post(url, data=data)            
            if 'No results found' in y.text:
                processed_list.append(ber)
                #print('Invalid ID', ber)
            else:
                hit_list.append(ber)
                processed_list.append(ber)
                print('Valid ID',ber)

if __name__ == '__main__':   
    with cf.ThreadPoolExecutor(max_workers=workers) as boss:
        jobs= [loop_size[x: x + chunks] for x in range(0, len(loop_size), chunks)]        
        boss.map(id_filter, jobs)

#note below is a simplified version of what I'm doing in real-life. In reality, I print out details similar to these and then save them in a .txt file. I left out all that for parsimony's sake.
print('Details')
run_time = datetime.now() - startTime
print('Start Range',startrange)
print('End Range', end_range)
print('Run Time', run_time) 
print('Number of Hits', len(hit_list))
print('Number of processed IDs', len(processed_list)) 
print('Number of Workers', workers)
print('Job Size:',jobs)