[OpenStack-ru] AMQP server is unreachable / AMQP server closed the connection. Check login credentials
Yura Poltoratskiy
yurapoltora на gmail.com
Чт Мар 24 12:51:07 UTC 2016
Пароль и пользователя проверял и много раз. Более того, я сворачивал все
контейнеры c rabbitmq, брал отдельный сервер и без HA построил отдельный
сервер очередей - ничего не изменилось.
К тому же, на правильность пароля указывают, строки виду:
2016-03-24 07:46:20.965 11111 INFO oslo.messaging._drivers.impl_rabbit [-]
Reconnected to AMQP server on rabbitmq01:5672
2016-03-24 07:46:20.966 11111 INFO oslo.messaging._drivers.impl_rabbit
[req-8e5b0e51-ed48-48cf-9182-81b437246bcf - - - - -] Reconnected to AMQP
server on rabbitmq01:5672
2016-03-24 07:46:20.997 11111 INFO oslo.messaging._drivers.impl_rabbit [-]
Reconnected to AMQP server on rabbitmq01:5672
2016-03-24 07:46:21.005 11111 INFO oslo.messaging._drivers.impl_rabbit [-]
Reconnected to AMQP server on rabbitmq01:5672
Если я правильно расцениваю Reconnect*ed*, то речь идет о успешном
переподключении.
Еще в пользу правильности логина/пароля говорит переодический вывод nova
service-list:
nova-compute | compute01 | nova | enabled | up
В конфигурационном файле nova.conf раздел rabbit выглядит так (точно везде
совпадает, т.к. вставлял через ctrl+C->ctrl+V во избежание опечаток):
[oslo_messaging_rabbit]
rabbit_hosts=rabbitmq01:5672,rabbitmq02:5672,rabbitmq03:5672
rabbit_userid = openstack
rabbit_password = openstack
rabbit_retry_interval=1
rabbit_retry_backoff=2
rabbit_max_retries=0
rabbit_durable_queues=true
rabbit_ha_queues=true
Журнал rabbitmq:
=INFO REPORT==== 24-Mar-2016::14:18:01 ===
accepting AMQP connection <0.2831.0> (10.1.1.101:50740 -> 10.1.1.41:5672)
=INFO REPORT==== 24-Mar-2016::14:18:01 ===
accepting AMQP connection <0.2828.0> (10.1.1.101:50738 -> 10.1.1.41:5672)
=INFO REPORT==== 24-Mar-2016::14:18:01 ===
accepting AMQP connection <0.2825.0> (10.1.1.101:50736 -> 10.1.1.41:5672)
=INFO REPORT==== 24-Mar-2016::14:18:01 ===
accepting AMQP connection <0.2834.0> (10.1.1.101:50742 -> 10.1.1.41:5672)
=INFO REPORT==== 24-Mar-2016::14:18:01 ===
Mirrored queue 'reply_6a400f775e434bafb05db9b8b1976c29' in vhost '/':
Adding mirror on node rabbit на rabbitmq02: <7323.17821.0>
=INFO REPORT==== 24-Mar-2016::14:18:01 ===
Mirrored queue 'reply_6a400f775e434bafb05db9b8b1976c29' in vhost '/':
Adding mirror on node rabbit на rabbitmq03: <7324.18726.0>
=INFO REPORT==== 24-Mar-2016::14:18:01 ===
Mirrored queue 'compute_fanout_aa803659695f48a2ab997e6bb8bf28bf' in vhost
'/': Adding mirror on node rabbit на rabbitmq02: <7323.17827.0>
=INFO REPORT==== 24-Mar-2016::14:18:01 ===
Mirrored queue 'compute_fanout_aa803659695f48a2ab997e6bb8bf28bf' in vhost
'/': Adding mirror on node rabbit на rabbitmq03: <7324.18732.0>
=ERROR REPORT==== 24-Mar-2016::14:19:41 ===
closing AMQP connection <0.2825.0> (10.1.1.101:50736 -> 10.1.1.41:5672):
Missed heartbeats from client, timeout: 20s
=ERROR REPORT==== 24-Mar-2016::14:19:41 ===
closing AMQP connection <0.2834.0> (10.1.1.101:50742 -> 10.1.1.41:5672):
Missed heartbeats from client, timeout: 20s
=ERROR REPORT==== 24-Mar-2016::14:20:01 ===
closing AMQP connection <0.2828.0> (10.1.1.101:50738 -> 10.1.1.41:5672):
Missed heartbeats from client, timeout: 20s
=ERROR REPORT==== 24-Mar-2016::14:20:01 ===
closing AMQP connection <0.2831.0> (10.1.1.101:50740 -> 10.1.1.41:5672):
Missed heartbeats from client, timeout: 20s
compute01 - 10.1.1.101
rabbitmq01 - 10.1.1.41
Пакетные фильтры в сети управления отключены везде.
24 марта 2016 г., 14:03 пользователь Ilya Alekseyev <ilya на oscloud.ru>
написал:
> Явная проблема с rabbitmq.
> Пароль и имя пользователя на rabbit проверяли?
>
> 2016-03-24 13:37 GMT+03:00 Yura Poltoratskiy <yurapoltora на gmail.com>:
>
>> вот часть neutron-server.log:
>>
>> 2016-03-24 12:27:40.140 25737 ERROR oslo.messaging._drivers.impl_rabbit
>> [-] AMQP server on rabbitmq01:5672 is unreachable: [Errno 104] Connection
>> reset by peer. Trying again in 1 seconds.
>> 2016-03-24 12:27:41.156 25737 ERROR oslo.messaging._drivers.impl_rabbit
>> [-] AMQP server on rabbitmq01:5672 is unreachable: [Errno 111]
>> ECONNREFUSED. Trying again in 1 seconds.
>> 2016-03-24 12:27:42.202 25737 INFO oslo.messaging._drivers.impl_rabbit
>> [-] Reconnected to AMQP server on rabbitmq02:5672
>> 2016-03-24 12:27:48.786 25737 INFO oslo.messaging._drivers.impl_rabbit
>> [-] A recoverable connection/channel error occurred, trying to reconnect:
>> [Errno 104] Connection reset by peer
>> 2016-03-24 12:28:03.580 25737 ERROR oslo.messaging._drivers.impl_rabbit
>> [-] AMQP server on rabbitmq01:5672 is unreachable: [Errno 32] Broken pipe.
>> Trying again in 1 seconds.
>> 2016-03-24 12:28:04.606 25737 INFO oslo.messaging._drivers.impl_rabbit
>> [-] Reconnected to AMQP server on rabbitmq01:5672
>>
>> 24 марта 2016 г., 12:24 пользователь Yura Poltoratskiy <
>> yurapoltora на gmail.com> написал:
>>
>> Приветствую, сообщество.
>>>
>>> Столкнулся с непреодолимым препятствием, поэтому прошу помочь.
>>>
>>> Собственно, имеем деплой с нуля. Архитектура кратко такая:
>>> 2 сервера - computes
>>> 3 сервера - controllers
>>> 3 сервера - storage
>>> 1 сервер - network
>>>
>>> На controller'ах запущены контейнеры по одному для каждого сервиса, в
>>> итоге получаем каждого сервиса по три (по одному на физическом сервере) для
>>> HA.
>>>
>>> Все собрано на ubuntu 14.04 с подключенным cloud-archive:liberty.
>>>
>>> Сервер сообщений - rabbitmq.
>>>
>>> Собрал по документации
>>>
>>> http://docs.openstack.org/ha-guide/controller-ha-rabbitmq.html#rabbitmq-services
>>> кластер rabbitmq.
>>>
>>> Дошел до запуска виртуальной машины, обнаружил, что все сервисы имеют
>>> проблемы с коммуникацией с rabbitmq, в логах циклически вижу такое:
>>>
>>> nova-compute:
>>>
>>> 2016-03-24 12:00:06.833 11111 ERROR oslo.messaging._drivers.impl_rabbit
>>> [req-8e5b0e51-ed48-48cf-9182-81b437246bcf - - - - -] AM
>>> QP server on rabbitmq01:5672 is unreachable: [Errno 32] Broken pipe.
>>> Trying again in 1 seconds.
>>> 2016-03-24 12:00:07.848 11111 INFO oslo.messaging._drivers.impl_rabbit
>>> [-] Reconnected to AMQP server on rabbitmq01:5672
>>>
>>> или такое
>>>
>>> 2016-03-24 12:05:23.910 11111 ERROR oslo.messaging._drivers.impl_rabbit
>>> [-] AMQP server rabbitmq01:5672 closed the connection.
>>> Check login credentials: Socket closed
>>>
>>> Вывод nova service-list
>>>
>>> +----+------------------+-----------+----------+---------+-------+----------------------------+-----------------+
>>> | Id | Binary | Host | Zone | Status | State |
>>> Updated_at | Disabled Reason |
>>>
>>> +----+------------------+-----------+----------+---------+-------+----------------------------+-----------------+
>>> | 1 | nova-consoleauth | nova02 | internal | enabled | up |
>>> 2016-03-24T10:18:30.000000 | - |
>>> | 4 | nova-conductor | nova02 | internal | enabled | up |
>>> 2016-03-24T10:18:24.000000 | - |
>>> | 6 | nova-cert | nova02 | internal | enabled | up |
>>> 2016-03-24T10:18:29.000000 | - |
>>> | 9 | nova-scheduler | nova02 | internal | enabled | up |
>>> 2016-03-24T10:18:29.000000 | - |
>>> | 11 | nova-consoleauth | nova03 | internal | enabled | up |
>>> 2016-03-24T10:18:22.000000 | - |
>>> | 12 | nova-cert | nova03 | internal | enabled | up |
>>> 2016-03-24T10:18:26.000000 | - |
>>> | 13 | nova-scheduler | nova03 | internal | enabled | up |
>>> 2016-03-24T10:18:27.000000 | - |
>>> | 14 | nova-conductor | nova03 | internal | enabled | up |
>>> 2016-03-24T10:18:27.000000 | - |
>>> | 17 | nova-conductor | nova01 | internal | enabled | up |
>>> 2016-03-24T10:18:22.000000 | - |
>>> | 20 | nova-scheduler | nova01 | internal | enabled | up |
>>> 2016-03-24T10:18:25.000000 | - |
>>> | 21 | nova-cert | nova01 | internal | enabled | up |
>>> 2016-03-24T10:18:26.000000 | - |
>>> | 23 | nova-consoleauth | nova01 | internal | enabled | up |
>>> 2016-03-24T10:18:28.000000 | - |
>>> | 27 | nova-compute | compute02 | nova | enabled | down |
>>> 2016-03-24T10:15:41.000000 | - |
>>> | 29 | nova-compute | compute01 | nova | enabled | down |
>>> 2016-03-24T10:15:35.000000 | - |
>>>
>>> +----+------------------+-----------+----------+---------+-------+----------------------------+-----------------+
>>>
>>> Переодически nova-compute становиться up.
>>>
>>> Я уже пробовал переустанавливать rabbitmq, пробовал без кластеров,
>>> пробовал на отдельном сервере, вместо контейнера, все тщетно.
>>>
>>> Подскажите, пожалуйста, в чем проблема может быть и/или как можно
>>> отловить проблему.
>>>
>>> Могу предоставить любую информацию дополнительно.
>>>
>>> Спасибо.
>>>
>>>
>>
>> _______________________________________________
>> OpenStack-ru mailing list
>> OpenStack-ru на lists.openstack.org
>> http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-ru
>>
>>
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://lists.openstack.org/pipermail/openstack-ru/attachments/20160324/3700c3b0/attachment-0001.html>
Подробная информация о списке рассылки OpenStack-ru