У меня более 50 миллионов строк в dc2.large | 1 node | 160 GB экземпляре Amazon Redshift. Я знаю, что это больше данных, чем я могу обработать, если я ожидаю быстрого времени запроса (см.: Запрос Redshift занимает слишком много времени). Однако время ожидания не так уж и велико, пока я не начну выполнять несколько запросов одновременно.
Поскольку мой тайм-аут для запросов составляет 60 секунд, когда я одновременно запрашиваю несколько запросов (например, в своих информационных панелях метабазы), все запросы завершаются ошибкой. Но если бы я мог выполнять запросы последовательно (а не параллельно), меня бы устраивало долгое время, пока все запросы не будут выполнены.
Есть ли способ отправить запрос в определенную очередь, которая будет выполнять запросы один за другим? Где-то в документации Redshift (извините, я забыл, где это) говорится, что время запроса, когда дело доходит до принятия решения о тайм-ауте, учитывается только во время запроса, а не в Очереди.
Кроме того, я понимаю, что мне, вероятно, придется настроить параметр WLM, но я не могу найти хороших примеров того, как это сделать.
Итак, вот проблема:
1. Can I execute queries in Redshift in series?
- (Using its SQL language, not a Python/Java way to query the cluster in series)
2. If yes, how to do that?
- (Please, help me with some commands, json, etc.)
