Не работает служба redis на обоих контроллерах домена

DuginSV

Участник
Регистрация
07.04.23
Сообщения
13
Реакции
0
root@dc1:~# systemctl status redis-server
● redis-server.service - Advanced key-value store
Loaded: loaded (/lib/systemd/system/redis-server.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Fri 2023-09-29 12:01:24 MSK; 19s ago
Docs: http://redis.io/documentation,
man:redis-server(1)
Process: 31746 ExecStart=/usr/bin/redis-server /etc/redis/redis.conf --supervised systemd --daemonize no (code=exited, status=217/USER)
Main PID: 31746 (code=exited, status=217/USER)
CPU: 33ms

сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: redis-server.service: Failed with result 'exit-code'.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: Failed to start Advanced key-value store.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: redis-server.service: Consumed 33ms CPU time.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: redis-server.service: Service RestartSec=100ms expired, scheduling restart.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: redis-server.service: Scheduled restart job, restart counter is at 5.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: Stopped Advanced key-value store.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: redis-server.service: Consumed 33ms CPU time.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: redis-server.service: Start request repeated too quickly.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: redis-server.service: Failed with result 'exit-code'.
сен 29 12:01:24 dc1.tgc2-energo.ru systemd[1]: Failed to start Advanced key-value store.
root@dc1:~# systemctl restart redis-server
Job for redis-server.service failed because the control process exited with error code.
See "systemctl status redis-server.service" and "journalctl -xe" for details.
 
я заметил после ввода первого клиента в домен.
версия ALDP 2.1.0.
версия ALSE 1.7.4.7
домен поднят несколько дней назад.
кроме контроллеров развернут только сервер мониторинга.
 
кроме этого на втором контроллере (реплике) не работает служба celery, связанные ли это вещи - непонятно
 
попробуйте на кд nano /etc/redis/redis.conf заменить bind 127.0.0.1 -::1 на bind 127.0.0.1
 
Приветствую!
У меня в лабе была такая же проблема с redis и celery - Обе службы перестали запускаться после обновления ALDPro c версии 2.0 до 2.1
на Astralinux SE 1.7.5.9 ( обновлял Астру с 1..7.4)

Решение:
Прямой (руками) запуск redis проходил успешно, но через systemd падал. Я закомментировал единственную строчку в файле redis.service
PrivateUsers=true
потом выполнил
systemctl daemon-reload && systemctl start redis && systemctl start celery
Запуск был успешным.

Интересно, что когда запускал redis руками redis-server /etc/redis/redis.conf ошибка по redis-у в консоли веб портала ALDPro не проходила и celery руками тоже не запускалась.
 
Приветствую!
У меня в лабе была такая же проблема с redis и celery - Обе службы перестали запускаться после обновления ALDPro c версии 2.0 до 2.1
на Astralinux SE 1.7.5.9 ( обновлял Астру с 1..7.4)

Решение:
Прямой (руками) запуск redis проходил успешно, но через systemd падал. Я закомментировал единственную строчку в файле redis.service
PrivateUsers=true
потом выполнил
systemctl daemon-reload && systemctl start redis && systemctl start celery
Запуск был успешным.

Интересно, что когда запускал redis руками redis-server /etc/redis/redis.conf ошибка по redis-у в консоли веб портала ALDPro не проходила и celery руками тоже не запускалась.
Ядро hardenec стояло ?
 
Дополнение к моему посту выше:

После успешного старта celery она падает секунд через 10-20. Пришлось "покурить' тему связки redis + celery для приложений Django
https://proglib.io/p/django-celery-i-redis-gayd-po-rabote-s-asinhronnymi-zadachami-2022-08-22

В файле /opt/rbta/ad/mgmtportal/api/core/project/settings.py нашел строки и закоментировал текущие данные
CELERY_BROKER_URL =
CELERY_RESULT_BACKEND =
вписал сюда:

CELERY_BROKER_URL = "redis://localhost:6379"
CELERY_RESULT_BACKEND = "redis://localhost:6379"

после чего успешно запустил celery. Проверил через пару минут - служба продолжает работать и не падает. К тому же получил зеленную метку в Общем состоянии Системы
 

Вложения

  • ALDPro_celery_run.JPG
    ALDPro_celery_run.JPG
    117 KB · Просмотры: 7
Дополнение к моему посту выше:

После успешного старта celery она падает секунд через 10-20. Пришлось "покурить' тему связки redis + celery для приложений Django
https://proglib.io/p/django-celery-i-redis-gayd-po-rabote-s-asinhronnymi-zadachami-2022-08-22

В файле /opt/rbta/ad/mgmtportal/api/core/project/settings.py нашел строки и закоментировал текущие данные
CELERY_BROKER_URL =
CELERY_RESULT_BACKEND =
вписал сюда:

CELERY_BROKER_URL = "redis://localhost:6379"
CELERY_RESULT_BACKEND = "redis://localhost:6379"

после чего успешно запустил celery. Проверил через пару минут - служба продолжает работать и не падает. К тому же получил зеленную метку в Общем состоянии Системы
celerybeat также успешно стартанула
 
Bearm, оставьте контакты в сл можно будет вместе посмотреть и возможно уберем захват памяти
 
Bearm, оставьте контакты в сл можно будет вместе посмотреть и возможно уберем захват памяти
Через 8 часов ограничил redis в памяти maxmemory 256MB и добавил еще 4G ram на вм контроллера. Теперь ситуация с памятью похорошела на 50%. Ошибок нет. Общее состояние ссистемы ОК

 

Вложения

  • ALDPro_celery_run_mem8G.JPG
    ALDPro_celery_run_mem8G.JPG
    125.8 KB · Просмотры: 5
Через 8 часов ограничил redis в памяти maxmemory 256MB и добавил еще 4G ram на вм контроллера. Теперь ситуация с памятью похорошела на 50%. Ошибок нет. Общее состояние ссистемы ОК
По сути восстановление работы служб celery* свелось к замене брокера сообщений с RabbitMQ на Redis как это было,по видимому, в ALDPro 2.0, а в версии 2.1 перешли на RabbitMQ
 
По сути восстановление работы служб celery* свелось к замене брокера сообщений с RabbitMQ на Redis как это было,по видимому, в ALDPro 2.0, а в версии 2.1 перешли на RabbitMQ
Теперь еще круче! в старых логах /var/log/rabbitmq-server.log
обнаружил правильную учетку конекта к узлу:
2023-11-05 00:57:55.339 [info] <0.610.277> accepting AMQP connection <0.610.277> (127.0.0.1:46412 -> 127.0.0.1:5672)
2023-11-05 00:57:55.378 [info] <0.610.277> connection <0.610.277> (127.0.0.1:46412 -> 127.0.0.1:5672): user 'adcan' authenticated and g
ranted access to vhost 'adcan'

В итоге в файле /opt/rbta/ad/mgmtportal/api/core/project/settings.py

вернул назад параметр для брокера rabbitmq и заменил дефолтные значения guest для юзера, пароля и узла на adcan

#CELERY_RABBIT_USER = getattr(env, 'CELERY_RABBIT_USER', config('CELERY_RABBIT_USER', default='guest'))
CELERY_RABBIT_USER = getattr(env, 'CELERY_RABBIT_USER', config('CELERY_RABBIT_USER', default='adcan'))
#CELERY_RABBIT_PASSWORD = getattr(env, 'CELERY_RABBIT_PASSWORD', config('CELERY_RABBIT_PASSWORD', default='guest'))
CELERY_RABBIT_PASSWORD = getattr(env, 'CELERY_RABBIT_PASSWORD', config('CELERY_RABBIT_PASSWORD', default='adcan'))
#CELERY_RABBIT_VHOST = getattr(env, 'CELERY_RABBIT_VHOST', config('CELERY_RABBIT_VHOST', default='0'))
CELERY_RABBIT_VHOST = getattr(env, 'CELERY_RABBIT_VHOST', config('CELERY_RABBIT_VHOST', default='adcan'))

#CELERY_BROKER_URL = "redis://localhost:6379"
CELERY_RESULT_BACKEND = "redis://localhost:6379"
CELERY_BROKER_URL = getattr(env, 'CELERY_BROKER_URL', config('CELERY_BROKER_URL', default=f'amqp://{CELERY_RABBIT_USER}:{CELERY_RABBIT_
PASSWORD}@{CELERY_RABBIT_HOST}:{CELERY_RABBIT_PORT}/{CELERY_RABBIT_VHOST}'))




в логе /var/log/aldpro/celery/worker1.log:
[2023-11-28 11:03:27,158: INFO/MainProcess] Connected to amqp://adcan:**@127.0.0.1:5672/adcan
[2023-11-28 11:03:27,163: INFO/MainProcess] mingle: searching for neighbors
[2023-11-28 11:03:28,182: INFO/MainProcess] mingle: all alone
[2023-11-28 11:03:28,199: INFO/MainProcess] worker1@dc.domain.tst ready.

В общем после обновления была ошибка c юзером, его паралем и vhost в конфиге для связки celery и rabbitmq.
 
Назад
Сверху Снизу