Очередь с ограничениями на параллельность

[beldmit]

Хочется гонять несколько одноплановых задач на нескольких виртуалках. При этом так как хост-машины не резиновые, то хочется ограничить параллельность в пределах одной группы. То есть, видимо, какая-то очередь.

Вопрос: какая очередь такое умеет?

Comments

[vitus_wagner]

Я в конце концов плюнул и стал свое писать. На питоне.
Теперь вот собираюсь написать вторую версию, чтобы она не на каждом хосте отдельно запускалась а один экземпляр обслуживал все хосты и в едином веб-интерфейсе показывал, что происходит.

[beldmit]

А что перепробовал до того? У нас потребности явно ниже.

[vitus_wagner]

Jenkins, Gitlab CI, Concourse CI.

[vitus_wagner]

Вообще подозреваю, что у нас потребности практически одинаковы.

У меня сейчас эта система обслуживает 5 хостов. На двух (где LXC) по 4 потока выполнения, на двух (где KVM) - по три, на еще одном (где тоже LXC, но машинка на ARM64 существенно послабее x86_64 серверов) - два.

Еще у меня есть несколько хостов, где всего один поток, и которые к этой системе пока не подключены - один поток проще по крону запускать. А вот если свести все в единый центр - тогда их тоже нужно подключать.

[beldmit]

Да, одинаковые или около того.

[yurikhan]

Jenkins? Держим несколько (сколько надо) виртуалок, назначаем им всем один лейбл, задачи привязываем к этому лейблу.

[vitus_wagner]

Тут по-моему несколько другая проблема - виртуалок много. А задач одновременно надо запускать не более чем. Для этого в дженкинсе используется не механизм лейблов, а механизм воркеров.

[beldmit]

Да, именно так.