Чистая, легкая альтернатива извращенному Python?

Мне понравился модуль Python concurrence, который использует либо микропотоки Stackless Python, либо Greenlets для облегчения многопоточности. Весь блокирующий сетевой ввод-вывод прозрачно делается асинхронным с помощью одного цикла libevent, поэтому он должен быть почти таким же эффективным, как настоящий асинхронный сервер.

Я полагаю, что в этом он похож на Eventlet.

Недостатком является то, что его API сильно отличается от модулей sockets/threading Python; вам нужно немного переписать ваше приложение (или написать слой прокладки совместимости)

Изменить: кажется, что есть также cogen, похожий, но использует расширенные генераторы Python 2.5 для своих сопрограмм вместо Greenlets. Это делает его более переносимым, чем параллелизм и другие альтернативы. Сетевой ввод-вывод выполняется непосредственно с помощью epoll/kqueue/iocp.

Twisted сложен, в этом ты прав. Twisted не раздут.

Если вы посмотрите здесь: http://twistedmatrix.com/trac/browser/trunk/twisted/ вы найдете организованный, всеобъемлющий и очень хорошо протестированный набор из многих интернет-протоколов, а также вспомогательный код для написания и развертывания очень сложных сетевых приложений. Я бы не стал путать раздувание с полнотой.

Хорошо известно, что документация Twisted на первый взгляд не самая удобная для пользователя, и я считаю, что это отталкивает большое количество людей. Но Twisted потрясающий (ИМХО), если вы потратите время. Я так и сделал, и оно того стоило, и я бы рекомендовал другим попробовать то же самое.

gevent очистка событий.

С точки зрения API он следует тем же соглашениям, что и стандартная библиотека (в частности, модули потоковой и многопроцессорной обработки), где это имеет смысл. Итак, у вас есть знакомые вещи, такие как Queue и Событие для работы.

Он поддерживает только libevent (обновление: libev начиная с 1.0) как реализация реактора, но в полной мере использует его преимущества, включая быстрый сервер WSGI, основанный на libevent-http и разрешающий DNS-запросы через libevent-dns, в отличие от использования пула потоков, как это делают большинство других библиотек. (обновление: поскольку 1.0 c-ares используется для выполнения асинхронных DNS-запросов; пул потоков также является опцией.)

Как и eventlet, он делает обратные вызовы и отложенные вызовы ненужными, используя гринлеты.

Ознакомьтесь с примерами: одновременная загрузка нескольких URL-адресов, < href="http://blog.gevent.org/2009/10/10/simpler-long-polling-with-django-and-gevent/" rel="nofollow noreferrer">веб-чат с длинным опросом.

Действительно интересное сравнение таких фреймворков было составлено Николасом Пиэлем в его блоге: оно того стоит. чтение!

Ни одно из этих решений не позволит избежать того факта, что GIL предотвращает параллелизм ЦП — это просто лучшие способы получить параллелизм ввода-вывода, который у вас уже есть с потоками. Если вы считаете, что можете улучшить ввод-вывод, во что бы то ни стало используйте один из них, но если ваше узкое место в обработке результатов, здесь ничего не поможет, кроме модуля многопроцессорности.

Я бы не стал называть Twisted раздутым, но это сложно понять. Я довольно долго избегал по-настоящему учиться, так как всегда хотел чего-то более легкого для «небольших задач».

Тем не менее, теперь, когда я поработал с ним еще немного, я должен сказать, что все включенные батареи ОЧЕНЬ приятны.

Все другие асинхронные библиотеки, с которыми я работал, оказались менее зрелыми, чем кажутся. Цикл событий Twisted надежен.

Я не совсем уверен, как решить крутую кривую обучения Twisted. Было бы полезно, если бы кто-нибудь разветвил его и очистил несколько вещей, например, удалив весь хлам обратной совместимости и мертвые проекты. Но я думаю, это природа зрелого программного обеспечения.

Камаэлия еще не упоминалась. Его модель параллелизма основана на соединении компонентов вместе с передачей сообщений между входящими и исходящими ящиками. Вот краткий обзор.

Я начал использовать скрученный для некоторых вещей. Прелесть его почти в том, что он «раздут». Существуют коннекторы практически для любого из основных протоколов. У вас может быть бот jabber, который будет принимать команды и публиковать их на irc-сервере, отправлять их кому-то по электронной почте, запускать команду, читать с сервера NNTP и отслеживать изменения на веб-странице. Плохая новость заключается в том, что он может делать все это и может сделать вещи слишком сложными для простых задач, как объяснил ОП. Преимущество Python заключается в том, что вы включаете только то, что вам нужно. Таким образом, хотя загрузка может составлять 20 МБ, вы можете включить только 2 МБ библиотек (что все еще много). Моя самая большая жалоба на Twisted заключается в том, что, несмотря на то, что они включают в себя примеры, все, что выходит за рамки базового TCP-сервера, вы сами по себе.

Хотя это и не решение для Python, я видел, что в последнее время node.js набирает обороты. На самом деле я думал о том, чтобы изучить его для небольших проектов, но я просто съеживаюсь, когда слышу javascript :)

На эту тему есть хорошая книга: «Основы программирования Twisted Network» Эйба Феттига. Примеры показывают, как писать очень питонический код, и лично мне не кажется, что он основан на раздутом фреймворке. Посмотрите на решения в книге, если они не чистые, то я не знаю, что значит чистый.

Моя единственная загадка та же, что и с другими фреймворками, такими как Ruby. Я волнуюсь, он увеличивается? Я бы не хотел связывать клиента с фреймворком, у которого будут проблемы с масштабируемостью.

Whizzer — это крошечная платформа асинхронных сокетов, использующая pyev. Это очень быстро, в первую очередь из-за pyev. Он пытается предоставить аналогичный интерфейс с некоторыми небольшими изменениями.

Также попробуйте Syncless. Он основан на сопрограмме (так что он похож на Concurrence, Eventlet и gevent). Он реализует неблокирующие замены для socket.socket, socket.gethostbyname (и т. д.), ssl.SSLSocket, time.sleep и select.select. Это быстро. Нужен Stackless Python и libevent. Он содержит обязательное расширение Python, написанное на C (Pyrex/Cython).

Я подтверждаю качество syncless. Он может использовать libev (более новая, чистая и производительная версия libevent). Некоторое время назад у него не было такой поддержки, как у libevent, но теперь процесс разработки стал более продвинутым и syncless очень полезным.

Если вам просто нужна упрощенная и облегченная библиотека HTTP-запросов, я считаю, что Unirest действительно хорош.

Вы можете взглянуть на PyWorks, который использует совершенно другой подход. Он позволяет экземплярам объекта запускаться в своем собственном потоке и делает вызовы функций для этого объекта асинхронными.

Просто пусть класс наследуется от Task вместо объекта, и это асинхронно, все вызовы методов являются прокси. Возвращаемые значения (если они вам нужны) — это будущие прокси.

res = obj.method( args )
# code continues here without waiting for method to finish
do_something_else( )
print "Result = %d" % res # Code will block here, if res not calculated yet

PyWorks можно найти на http://bitbucket.org/raindog/pyworks.