Многопроцессорный пул рабочих сокетов Python

Мне нужно принимать соединения по сокетам, читать входные данные, делать сложные и долгие вычисления и потом отправлять ответ. Запросов одновременно может быть много (т.е. 100) Я понял, что из-за GIL я не могу использовать обычные потоки, и пробовал использовать C++ с boost:threads и boost:python, и запуская субинтерпретатор python в каждом потоке . Но в любом случае он не использует все ядра на 100% одновременно.

Поэтому я решил использовать многопроцессорную обработку, но создать пул рабочих процессов со статическим счетчиком для обслуживания этих запросов с помощью очереди. Таким образом, мы не тратим время на разветвление процесса, и у нас не будет 100 или более процессов одновременно, только статический подсчет.

Я новичок в Python, в основном использовал C++.

Итак, теперь у меня есть этот код, но он не работает. Соединение открывается и тут же закрывается, не знаю почему:

#!/usr/bin/env python   
import os
import sys
import SocketServer
import Queue
import time
import socket
import multiprocessing
from multiprocessing.reduction import reduce_handle
from multiprocessing.reduction import rebuild_handle 

class MultiprocessWorker(multiprocessing.Process):

    def __init__(self, sq):

        self.SLEEP_INTERVAL = 1

        # base class initialization
        multiprocessing.Process.__init__(self)

        # job management stuff
        self.socket_queue = sq
        self.kill_received = False

    def run(self):
        while not self.kill_received:
            try:     
                h = self.socket_queue.get_nowait()          
                fd=rebuild_handle(h)
                client_socket=socket.fromfd(fd,socket.AF_INET,socket.SOCK_STREAM)
                #client_socket.send("hellofromtheworkerprocess\r\n")
                received = client_socket.recv(1024)
                print "Recieved on client: ",received
                client_socket.close()

            except Queue.Empty:
                pass

            #Dummy timer
            time.sleep(self.SLEEP_INTERVAL)

class MyTCPHandler(SocketServer.BaseRequestHandler):
    """
    The RequestHandler class for our server.

    It is instantiated once per connection to the server, and must
    override the handle() method to implement communication to the
    client.
    """

    def handle(self):
        # self.request is the TCP socket connected to the client
        #self.data = self.request.recv(1024).strip()
        #print "{} wrote:".format(self.client_address[0])
        #print self.data
        # just send back the same data, but upper-cased
        #self.request.sendall(self.data.upper())

        #Either pipe it to worker directly like this
        #pipe_to_worker.send(h) #instanceofmultiprocessing.Pipe
        #or use a Queue :)

        h = reduce_handle(self.request.fileno())
        socket_queue.put(h)


if __name__ == "__main__":

    #Mainprocess
    address =  ('localhost', 8082)
    server = SocketServer.TCPServer(address, MyTCPHandler)
    socket_queue = multiprocessing.Queue()

    for i in range(5):
        worker = MultiprocessWorker(socket_queue)
        worker.start()

    try:
        server.serve_forever()
    except KeyboardInterrupt:
        sys.exit(0)

person Max    schedule 16.04.2014    source источник
comment
Какая операционная система?   -  person User    schedule 16.04.2014


Ответы (2)


Есть ли причина, по которой вы не используете

def reduce_socket(s):
    ...

def rebuild_socket(ds):
    ...

?

Кажется, вы могли бы сделать это:

import copyreg
copyreg.pickle(type(socket.socket), reduce_socket, rebuild_socket)

а затем передать сокет в очередь.

Это предложения. Они помогают?

person User    schedule 16.04.2014

попробуй это:

def handle(self):
    h = reduce_handle(self.request.fileno())
    socket_queue.put(h)
    self.request.close()

обратите внимание на добавление self.request.close().

person user1269942    schedule 16.01.2015