Какой протокол следует использовать для быстрого взаимодействия команды/ответа?

AMQP звучит многообещающе. В качестве альтернативы, я думаю, что XMPP поддерживает многое из того, что вам нужно, хотя и с небольшими накладными расходами.

Тем не менее, в зависимости от того, чего вы пытаетесь достичь, простой специальный протокол может быть проще.

Если вам просто нужен запрос/ответ, HTTP очень прост. Это уже протокол запроса/ответа. Клиентская и серверная части широко реализованы на большинстве языков. Масштабирование это хорошо понятно.

Самый простой способ использовать его — отправлять команды на сервер в виде POST-запросов, а сервер отправлять обратно ответ в теле ответа. Вы также можете расширить HTTP своими собственными глаголами, но это усложнит задачу использования кэширующих прокси-серверов и другой инфраструктуры, понимающей HTTP.

Если вам нужны асинхронные уведомления, обратите внимание на протоколы публикации/подписки (реализации Spread, XMPP, AMQP, JMS или коммерческие брокеры сообщений публикации/подписки, такие как TibcoRV, Tibco EMS или Websphere MQ). Выбор протокола или реализации зависит от требований к надежности, задержке и пропускной способности системы, которую вы создаете. Например, можно ли сбрасывать уведомления, когда сеть перегружена? Что происходит с уведомлениями, когда клиент находится в автономном режиме — они отбрасываются или ставятся в очередь, когда клиент повторно подключается.

Как насчет чего-то вроде SNMP? Я не уверен, что это точно соответствует модели, которую использует ваше приложение, но оно поддерживает как асинхронное уведомление, так и извлечение (т. е. TRAP и GET).

Это отличный вопрос с огромным количеством переменных, которые необходимо учитывать, и в вопросе упоминаются лишь некоторые из них: формат пакета, асинхронный и синхронизированный обмен сообщениями и безопасность. Есть много, много других, о которых можно подумать. Я предлагаю пройтись по описанию 7-уровневого стека протоколов (OSI/ISO) и спросить себя, что вам нужно на этих уровнях, и хотите ли вы построить этот уровень или получить его откуда-то еще. (Похоже, вас больше всего интересуют уровни 6 и 7, но вы также упомянули и о более низких слоях.)

Подумайте также о том, относится ли это к критическому с точки зрения безопасности приложению или к части системы с формальной верификацией и верификацией. Действительно хорошие, заслуживающие доверия системы связи спроектировать непросто; также протокол с «недостаточной мощностью» может сильно нагрузить приложение кодированием для восстановления после ошибок.

Наконец, я бы предложил посмотреть, как другие приложения, подобные вашему, справляются с этой задачей (проверить открытый исходный код, прочитать книги и т. д.). Также полезна база данных патентного ведомства США и т. д.; можно почерпнуть отличные идеи, просто прочитав описание коммуникативной проблемы, которую они пытались решить.