<div dir="ltr">А с name resolution у вас все хорошо? И время на компонентах не разбежалось в разные стороны? <div>Вообще может быть сети не очень хорошо или машинам на которых запущены компоненты не хватает ресурсов? Не пробовали таймауты поднять? </div></div><div class="gmail_extra"><br><div class="gmail_quote">2016-03-24 15:51 GMT+03:00 Yura Poltoratskiy <span dir="ltr"><<a href="mailto:yurapoltora@gmail.com" target="_blank">yurapoltora@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Пароль и пользователя проверял и много раз. Более того, я
сворачивал все контейнеры c rabbitmq, брал отдельный сервер и без HA
построил отдельный сервер очередей - ничего не изменилось.<br><br></div>К тому же, на правильность пароля указывают, строки виду:<br><br>2016-03-24 07:46:20.965 11111 INFO oslo.messaging._drivers.impl_rabbit [-] Reconnected to AMQP server on rabbitmq01:5672<br>2016-03-24 07:46:20.966 11111 INFO oslo.messaging._drivers.impl_rabbit [req-8e5b0e51-ed48-48cf-9182-81b437246bcf - - - - -] Reconnected to AMQP server on rabbitmq01:5672<br>2016-03-24 07:46:20.997 11111 INFO oslo.messaging._drivers.impl_rabbit [-] Reconnected to AMQP server on rabbitmq01:5672<br>2016-03-24 07:46:21.005 11111 INFO oslo.messaging._drivers.impl_rabbit [-] Reconnected to AMQP server on rabbitmq01:5672<br><div class="gmail_extra"><br></div><div class="gmail_extra">Если я правильно расцениваю Reconnect<b>ed</b>, то речь идет о успешном переподключении.<br><br></div><div class="gmail_extra">Еще в пользу правильности логина/пароля говорит переодический вывод nova service-list:<br>nova-compute | compute01 | nova | enabled | up<br><br></div><div class="gmail_extra">В
конфигурационном файле nova.conf раздел rabbit выглядит так (точно
везде совпадает, т.к. вставлял через ctrl+C->ctrl+V во избежание
опечаток):<br>[oslo_messaging_rabbit]<br>rabbit_hosts=rabbitmq01:5672,rabbitmq02:5672,rabbitmq03:5672<br>rabbit_userid = openstack<br>rabbit_password = openstack<br>rabbit_retry_interval=1<br>rabbit_retry_backoff=2<br>rabbit_max_retries=0<br>rabbit_durable_queues=true<br>rabbit_ha_queues=true<br></div><div class="gmail_extra"><br></div><div class="gmail_extra">Журнал rabbitmq:<br><br>=INFO REPORT==== 24-Mar-2016::14:18:01 ===<br>accepting AMQP connection <0.2831.0> (<a href="http://10.1.1.101:50740" target="_blank">10.1.1.101:50740</a> -> <a href="http://10.1.1.41:5672" target="_blank">10.1.1.41:5672</a>)<br><br>=INFO REPORT==== 24-Mar-2016::14:18:01 ===<br>accepting AMQP connection <0.2828.0> (<a href="http://10.1.1.101:50738" target="_blank">10.1.1.101:50738</a> -> <a href="http://10.1.1.41:5672" target="_blank">10.1.1.41:5672</a>)<br><br>=INFO REPORT==== 24-Mar-2016::14:18:01 ===<br>accepting AMQP connection <0.2825.0> (<a href="http://10.1.1.101:50736" target="_blank">10.1.1.101:50736</a> -> <a href="http://10.1.1.41:5672" target="_blank">10.1.1.41:5672</a>)<br><br>=INFO REPORT==== 24-Mar-2016::14:18:01 ===<br>accepting AMQP connection <0.2834.0> (<a href="http://10.1.1.101:50742" target="_blank">10.1.1.101:50742</a> -> <a href="http://10.1.1.41:5672" target="_blank">10.1.1.41:5672</a>)<br><br>=INFO REPORT==== 24-Mar-2016::14:18:01 ===<br>Mirrored queue 'reply_6a400f775e434bafb05db9b8b1976c29' in vhost '/': Adding mirror on node rabbit@rabbitmq02: <7323.17821.0><br><br>=INFO REPORT==== 24-Mar-2016::14:18:01 ===<br>Mirrored queue 'reply_6a400f775e434bafb05db9b8b1976c29' in vhost '/': Adding mirror on node rabbit@rabbitmq03: <7324.18726.0><br><br>=INFO REPORT==== 24-Mar-2016::14:18:01 ===<br>Mirrored queue 'compute_fanout_aa803659695f48a2ab997e6bb8bf28bf' in vhost '/': Adding mirror on node rabbit@rabbitmq02: <7323.17827.0><br><br>=INFO REPORT==== 24-Mar-2016::14:18:01 ===<br>Mirrored queue 'compute_fanout_aa803659695f48a2ab997e6bb8bf28bf' in vhost '/': Adding mirror on node rabbit@rabbitmq03: <7324.18732.0><br><br>=ERROR REPORT==== 24-Mar-2016::14:19:41 ===<br>closing AMQP connection <0.2825.0> (<a href="http://10.1.1.101:50736" target="_blank">10.1.1.101:50736</a> -> <a href="http://10.1.1.41:5672" target="_blank">10.1.1.41:5672</a>):<br>Missed heartbeats from client, timeout: 20s<br><br>=ERROR REPORT==== 24-Mar-2016::14:19:41 ===<br>closing AMQP connection <0.2834.0> (<a href="http://10.1.1.101:50742" target="_blank">10.1.1.101:50742</a> -> <a href="http://10.1.1.41:5672" target="_blank">10.1.1.41:5672</a>):<br>Missed heartbeats from client, timeout: 20s<br><br>=ERROR REPORT==== 24-Mar-2016::14:20:01 ===<br>closing AMQP connection <0.2828.0> (<a href="http://10.1.1.101:50738" target="_blank">10.1.1.101:50738</a> -> <a href="http://10.1.1.41:5672" target="_blank">10.1.1.41:5672</a>):<br>Missed heartbeats from client, timeout: 20s<br><br>=ERROR REPORT==== 24-Mar-2016::14:20:01 ===<br>closing AMQP connection <0.2831.0> (<a href="http://10.1.1.101:50740" target="_blank">10.1.1.101:50740</a> -> <a href="http://10.1.1.41:5672" target="_blank">10.1.1.41:5672</a>):<br>Missed heartbeats from client, timeout: 20s<br><br><br></div><div class="gmail_extra">compute01 - 10.1.1.101<br></div>rabbitmq01 - 10.1.1.41<br><br></div>Пакетные фильтры в сети управления отключены везде.<br></div><div class="gmail_extra"><br><div class="gmail_quote">24 марта 2016 г., 14:03 пользователь Ilya Alekseyev <span dir="ltr"><<a href="mailto:ilya@oscloud.ru" target="_blank">ilya@oscloud.ru</a>></span> написал:<div><div class="h5"><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Явная проблема с rabbitmq.<div>Пароль и имя пользователя на rabbit проверяли?</div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div>2016-03-24 13:37 GMT+03:00 Yura Poltoratskiy <span dir="ltr"><<a href="mailto:yurapoltora@gmail.com" target="_blank">yurapoltora@gmail.com</a>></span>:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr">вот часть neutron-server.log:<br><br>2016-03-24 12:27:40.140 25737 ERROR oslo.messaging._drivers.impl_rabbit [-] AMQP server on rabbitmq01:5672 is unreachable: [Errno 104] Connection reset by peer. Trying again in 1 seconds.<br>2016-03-24 12:27:41.156 25737 ERROR oslo.messaging._drivers.impl_rabbit [-] AMQP server on rabbitmq01:5672 is unreachable: [Errno 111] ECONNREFUSED. Trying again in 1 seconds.<br>2016-03-24 12:27:42.202 25737 INFO oslo.messaging._drivers.impl_rabbit [-] Reconnected to AMQP server on rabbitmq02:5672<br>2016-03-24 12:27:48.786 25737 INFO oslo.messaging._drivers.impl_rabbit [-] A recoverable connection/channel error occurred, trying to reconnect: [Errno 104] Connection reset by peer<br>2016-03-24 12:28:03.580 25737 ERROR oslo.messaging._drivers.impl_rabbit [-] AMQP server on rabbitmq01:5672 is unreachable: [Errno 32] Broken pipe. Trying again in 1 seconds.<br>2016-03-24 12:28:04.606 25737 INFO oslo.messaging._drivers.impl_rabbit [-] Reconnected to AMQP server on rabbitmq01:5672<br></div><div class="gmail_extra"><br><div class="gmail_quote">24 марта 2016 г., 12:24 пользователь Yura Poltoratskiy <span dir="ltr"><<a href="mailto:yurapoltora@gmail.com" target="_blank">yurapoltora@gmail.com</a>></span> написал:<div><div><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><div>Приветствую, сообщество.<br><br></div>Столкнулся с непреодолимым препятствием, поэтому прошу помочь.<br><br></div>Собственно, имеем деплой с нуля. Архитектура кратко такая: <br></div>2 сервера - computes<br></div>3 сервера - controllers<br></div><div>3 сервера - storage<br></div><div>1 сервер - network<br></div><div><br></div>На controller'ах запущены контейнеры по одному для каждого сервиса, в итоге получаем каждого сервиса по три (по одному на физическом сервере) для HA.<br><br></div>Все собрано на ubuntu 14.04 с подключенным cloud-archive:liberty.<br><br></div><div>Сервер сообщений - rabbitmq.<br></div><div><br></div>Собрал по документации<br><div><div><a href="http://docs.openstack.org/ha-guide/controller-ha-rabbitmq.html#rabbitmq-services" target="_blank">http://docs.openstack.org/ha-guide/controller-ha-rabbitmq.html#rabbitmq-services</a><br></div><div>кластер rabbitmq.<br><br></div><div>Дошел до запуска виртуальной машины, обнаружил, что все сервисы имеют проблемы с коммуникацией с rabbitmq, в логах циклически вижу такое:<br></div><div><br>nova-compute:<br><br>2016-03-24 12:00:06.833 11111 ERROR oslo.messaging._drivers.impl_rabbit [req-8e5b0e51-ed48-48cf-9182-81b437246bcf - - - - -] AM<br>QP server on rabbitmq01:5672 is unreachable: [Errno 32] Broken pipe. Trying again in 1 seconds.<br>2016-03-24 12:00:07.848 11111 INFO oslo.messaging._drivers.impl_rabbit [-] Reconnected to AMQP server on rabbitmq01:5672<br></div><div><br>или такое<br><br>2016-03-24 12:05:23.910 11111 ERROR oslo.messaging._drivers.impl_rabbit [-] AMQP server rabbitmq01:5672 closed the connection. <br>Check login credentials: Socket closed<br></div><div><br></div><div>Вывод nova service-list <br>+----+------------------+-----------+----------+---------+-------+----------------------------+-----------------+<br>| Id | Binary | Host | Zone | Status | State | Updated_at | Disabled Reason |<br>+----+------------------+-----------+----------+---------+-------+----------------------------+-----------------+<br>| 1 | nova-consoleauth | nova02 | internal | enabled | up | 2016-03-24T10:18:30.000000 | - |<br>| 4 | nova-conductor | nova02 | internal | enabled | up | 2016-03-24T10:18:24.000000 | - |<br>| 6 | nova-cert | nova02 | internal | enabled | up | 2016-03-24T10:18:29.000000 | - |<br>| 9 | nova-scheduler | nova02 | internal | enabled | up | 2016-03-24T10:18:29.000000 | - |<br>| 11 | nova-consoleauth | nova03 | internal | enabled | up | 2016-03-24T10:18:22.000000 | - |<br>| 12 | nova-cert | nova03 | internal | enabled | up | 2016-03-24T10:18:26.000000 | - |<br>| 13 | nova-scheduler | nova03 | internal | enabled | up | 2016-03-24T10:18:27.000000 | - |<br>| 14 | nova-conductor | nova03 | internal | enabled | up | 2016-03-24T10:18:27.000000 | - |<br>| 17 | nova-conductor | nova01 | internal | enabled | up | 2016-03-24T10:18:22.000000 | - |<br>| 20 | nova-scheduler | nova01 | internal | enabled | up | 2016-03-24T10:18:25.000000 | - |<br>| 21 | nova-cert | nova01 | internal | enabled | up | 2016-03-24T10:18:26.000000 | - |<br>| 23 | nova-consoleauth | nova01 | internal | enabled | up | 2016-03-24T10:18:28.000000 | - |<br>| 27 | nova-compute | compute02 | nova | enabled | down | 2016-03-24T10:15:41.000000 | - |<br>| 29 | nova-compute | compute01 | nova | enabled | down | 2016-03-24T10:15:35.000000 | - |<br>+----+------------------+-----------+----------+---------+-------+----------------------------+-----------------+<br><br></div><div>Переодически nova-compute становиться up.<br><br></div><div>Я уже пробовал переустанавливать rabbitmq, пробовал без кластеров, пробовал на отдельном сервере, вместо контейнера, все тщетно.<br><br></div><div>Подскажите, пожалуйста, в чем проблема может быть и/или как можно отловить проблему.<br><br></div><div>Могу предоставить любую информацию дополнительно.<br><br></div><div>Спасибо.<br></div><div><br></div></div></div>
</blockquote></div></div></div><br></div>
<br></div></div>_______________________________________________<br>
OpenStack-ru mailing list<br>
<a href="mailto:OpenStack-ru@lists.openstack.org" target="_blank">OpenStack-ru@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-ru" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-ru</a><br>
<br></blockquote></div><br></div>
</blockquote></div></div></div><br></div>
<br>_______________________________________________<br>
OpenStack-ru mailing list<br>
<a href="mailto:OpenStack-ru@lists.openstack.org">OpenStack-ru@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-ru" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-ru</a><br>
<br></blockquote></div><br></div>