Ошибка Tornado: [Errno 24] Слишком много открытых файлов

Я довольно много работал с Tornado, но впервые сталкиваюсь с такой ошибкой. Я работал над очень простым сокращателем URL. URL-адреса помещаются в базу данных другим приложением, это просто считывает URL-адреса из хранилища MongoDB и перенаправляет клиентов. После того, как я написал базовый код, я настроил для него простой тест «Осада», примерно через 30 секунд запуска осады (запуск с siege -c 64 -t 5m -r 1 http://example.com/MKy против 4 потоков приложения) я начал получать 500 ответов. Глядя в журнал ошибок, я увидел это;

ERROR:root:500 GET /MKy (127.0.0.1) 2.05ms
ERROR:root:Exception in I/O handler for fd 4
Traceback (most recent call last):
  File "/opt/python2.7/lib/python2.7/site-packages/tornado-2.1-py2.7.egg/tornado/ioloop.py", line 309, in start
  File "/opt/python2.7/lib/python2.7/site-packages/tornado-2.1-py2.7.egg/tornado/netutil.py", line 314, in accept_handler
  File "/opt/python2.7/lib/python2.7/socket.py", line 200, in accept
error: [Errno 24] Too many open files
ERROR:root:Uncaught exception GET /MKy (127.0.0.1)
HTTPRequest(protocol='http', host='shortener', method='GET', uri='/MKy', version='HTTP/1.0', remote_ip='127.0.0.1', body='', headers={'Host': 'shortener', 'Accept-Encoding': 'gzip', 'X-Real-Ip': '94.23.155.32', 'X-Forwarded-For': '94.23.155.32', 'Connection': 'close', 'Accept': '*/*', 'User-Agent': 'JoeDog/1.00 [en] (X11; I; Siege 2.66)'})
Traceback (most recent call last):
  File "/opt/python2.7/lib/python2.7/site-packages/tornado-2.1-py2.7.egg/tornado/web.py", line 1040, in wrapper
  File "main.py", line 58, in get
  File "main.py", line 21, in dbmongo
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/connection.py", line 349, in __init__
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/connection.py", line 510, in __find_master
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/connection.py", line 516, in __try_node
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/database.py", line 301, in command
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/collection.py", line 441, in find_one
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/cursor.py", line 539, in loop
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/cursor.py", line 560, in _refresh
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/cursor.py", line 620, in __send_message
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/connection.py", line 735, in _send_message_with_response
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/connection.py", line 591, in __stream
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/connection.py", line 200, in get_stream
  File "/opt/python2.7/lib/python2.7/site-packages/apymongo-0.0.1-py2.7-linux-x86_64.egg/apymongo/connection.py", line 559, in __connect
AutoReconnect: could not connect to [('127.0.0.1', 27017)]

Важно (я думаю);

ошибка: [Errno 24] Слишком много открытых файлов

Код; (Это очень просто)

import tornado.ioloop
import tornado.web
import tornado.escape
import apymongo
import time
import sys

#Useful stuff (Connect to Mongo)
class setup(tornado.web.RequestHandler):
    def dbmongo(self):
        if not hasattr(self, '_dbmongo'):
            self._dbmongo = apymongo.Connection("127.0.0.1", 27017)
        return self._dbmongo
        

#Basic method to lookup URLs from Mongo and redirect accordingly
class expand(setup):
    @tornado.web.asynchronous
    def get(self, url):
        self.mongo = self.dbmongo()
        
        #Lookup the URL
        cursor = self.mongo.rmgshortlinks.links.find_one({'short':url}, self.direct)
    
    def direct(self, response):
        if response == None:
            self.send_error(404)
            self.finish()
            return
        
        link = tornado.escape.url_unescape(response['long'])
        
        #Bounce the client
        self.write("<!DOCTYPE html><html><head><meta charset=\"UTF-8\" /><meta http-equiv=\"refresh\" content=\"0;URL="+link+"\"</head><body><a href=\""+link+"\">Click Here</a></body></html>")
        self.finish();


#Define the URL routes
application = tornado.web.Application([
    (r"/([a-zA-Z0-9]+)", expand)
])

#Start the server
if __name__ == "__main__":
    listening_port = int(sys.argv[1])
    
    if listening_port > 0:
        application.listen(listening_port)
        tornado.ioloop.IOLoop.instance().start()
    else:
        sys.stderr.write("No port specified!")

Сервер разработки, который я использую, имеет 8 ядер и 64 ГБ памяти и работает под управлением RedHat Enterprise Linux 5 и Python 2.6. У меня никогда раньше не было таких проблем с приложениями Tornado/Async Mongo.

Вероятно, полезная информация;

[root@puma ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 31374
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 31374
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

(открытые файлы установлены только на 1024, но я бы подумал, что этого более чем достаточно)

Tornado/Apymongo не закрывает соединения должным образом? Приложения находятся за NGINX, но подключаются с использованием HTTP, Apymongo должен подключаться через TCP, но может использовать сокеты. Даже в этом случае он должен обмениваться/объединять соединения, не так ли?

Редактировать

Как и было предложено, переместили приложение на один из наших тестовых серверов с максимальным ограничением открытых файлов 61440, та же ошибка примерно через 30 секунд работы в осаде.


python mongodb tornado
person Smudge    schedule 20.11.2011    source источник
comment
В качестве отступления: если возможно, не отправляйте HTML с метатегом обновления. Правильный способ перенаправления запроса — ответ HTTP 301 или 302.   -  person Thomas K    schedule 21.11.2011
comment
@ThomasK Есть много причин, по которым мы делаем это таким образом, главная из которых заключается в том, что он сохраняет / перезаписывает заголовок ссылки. Твиттер t.co делает то же самое в зависимости от клиента (попробуйте свернуть URL-адрес t.co с реальным заголовком браузера)   -  person Smudge    schedule 21.11.2011
comment
Вы пробовали решение, найденное здесь: stackoverflow.com/questions/2569620/   -  person Alvin K.    schedule 21.11.2011
comment
@ЭлвинК. Да, мы не можем установить ulimit намного выше, не достигая предела ядра RedHat (около 70 КБ, если я правильно помню). Я бы предпочел понять, почему Tornado пытается открыть так много файлов   -  person Smudge    schedule 21.11.2011

Ответы (1)


arrow_upward
4
arrow_downward

Очень просто, объект RequestHandler создается для каждого запроса. Это означает, что кэшированный объект, который вы сохраняете, находится в объекте RequestHandler (например, в расширении).

Если бы вы добавили в функцию dbmongo(...) простую команду «print CREATED!», вы бы увидели, что она создается при каждом запросе GET.

Что вам нужно сделать, так это прикрепить обработчик к объекту класса или «глобальному» по мере необходимости, хотя лучше всего поместить его в объект приложения Tornado.

Простой:

class setup(tornado.web.RequestHandler):
    @classmethod
    def dbmongo(cls):
        if not hasattr(cls, '_dbmongo'):
            cls._dbmongo = apymongo.Connection("127.0.0.1", 27017)
        return cls._dbmongo

Второй подход - просто сделать его глобальным в вашем файле:

dbmongo_connection = None
def dbmongo():
    if not dbmongo_connection:
        dbmongo_connection = apymongo.Connection("127.0.0.1", 27017)
    return dbmongo_connection

Оба они имеют одну и ту же проблему, которая заключается в том, что если у вас есть много классов, которые хотят использовать соединение с БД, им сложнее поделиться. Поскольку БД является общим объектом, вам, вероятно, понадобится один для всего приложения.

class MongoMixin(object):
    def mongodb(self):
        if not hasattr(self.application, 'mongodb'):
            self.application.mongodb = apymongo.Connection(self.application.settings.get("mongohost", "127.0.0.1"), 27017)
        return self.application.mongodb

class expand(tornado.web.RequestHandler, MongoMixin):
    def get(self):
       db = self.mongodb()
person koblas    schedule 21.11.2011
comment
Это исправило это, я пошел с первым примером, так как в моем случае каждый (ну, один) метод (ы) наследует класс «настройка», но я вижу, как другие методы будут иметь аналогичный эффект. - person Smudge; 24.11.2011