<div dir="ltr">Hi All,<div><br></div><div>We are trying to debug an issue with our production environment. We are seeing neutron-openvswitch-agent starts failing after some time (1-2 days). After debugging, we found that there are large number of entries for the ovsdb-client. On some nodes, it crosses more than 330 processes and then ovsdb process starts failing.</div><div><ol class="" style="color:rgb(172,172,172);margin:0px;padding:0px 0px 0px 55px;font-family:Consolas,Menlo,Monaco,'Lucida Console','Liberation Mono','DejaVu Sans Mono','Bitstream Vera Sans Mono',monospace,serif;font-size:12px;line-height:24px;background:rgb(247,247,247)"><li class="" style="background:rgb(255,255,255)"><div class="" style="padding:0px 8px;vertical-align:top;color:rgb(51,51,51);border-left-width:1px;border-left-style:solid;border-left-color:rgb(221,221,221);background-image:initial;background-repeat:initial">root     30689     1  0 00:37 ?        00:00:00 /bin/ovsdb-client monitor Interface name,ofport --format=json</div></li><li class="" style="background:rgb(255,255,255)"><div class="" style="padding:0px 8px;vertical-align:top;color:rgb(51,51,51);border-left-width:1px;border-left-style:solid;border-left-color:rgb(221,221,221);background-image:initial;background-repeat:initial">root     30804     1  0 00:38 ?        00:00:00 /bin/ovsdb-client monitor Interface name,ofport --format=json</div></li><li class="" style="background:rgb(255,255,255)"><div class="" style="padding:0px 8px;vertical-align:top;color:rgb(51,51,51);border-left-width:1px;border-left-style:solid;border-left-color:rgb(221,221,221);background:rgb(248,248,248)">root     30909     1  0 00:38 ?        00:00:00 /bin/ovsdb-client monitor Interface name,ofport --format=json</div></li></ol></div><div><br></div><div>Pastebin link for the processes: <a href="http://pastebin.com/QGQC0Jrt">http://pastebin.com/QGQC0Jrt</a></div><div>Pastebin link with openvswitch starting all of them: <a href="http://pastebin.com/repHMkHu">http://pastebin.com/repHMkHu</a></div><div><br></div><div>In logs, we start getting errors as:-</div><div><div>Mar 14 05:41:29 node2 ovs-vsctl: ovs|00001|fatal_signal|WARN|terminating with signal 14 (Alarm clock)</div><div>Mar 14 05:41:39 node2 ovs-vsctl: ovs|00001|fatal_signal|WARN|terminating with signal 14 (Alarm clock)</div><div>Mar 14 05:41:49 node2 ovs-vsctl: ovs|00001|fatal_signal|WARN|terminating with signal 14 (Alarm clock)</div></div><div><div>Mar 14 05:49:30 node2 ovs-vsctl: ovs|00001|vsctl|ERR|unix:/var/run/openvswitch/db.sock: database connection failed (Protocol error)<br></div><div>Mar 14 05:49:32 node2 ovs-vsctl: ovs|00001|vsctl|ERR|unix:/var/run/openvswitch/db.sock: database connection failed (Protocol error)</div><div>Mar 14 05:49:34 node2 ovs-vsctl: ovs|00001|vsctl|ERR|unix:/var/run/openvswitch/db.sock: database connection failed (Protocol error)</div></div><div><br></div><div>Openvswitch version:-</div><div><div>[root@node2 ~(openstack_admin)]# ovs-vsctl --version</div><div>ovs-vsctl (Open vSwitch) 2.4.0</div><div>Compiled Sep  4 2015 09:49:34</div><div>DB Schema 7.12.1</div></div><div><br></div><div>We have to restart openvswitch service everytime and that clears up all the processes. We are trying to figure out why so many processes are getting started by neutron-agent? Also, we found that if we restart the host's networking, one new process for the /bin/ovsdb-client starts. We checked and found that we don't have any network fluctuations or any nic-flappings. Are there any pointers where we should be looking into? It occurs on both controller and compute nodes.</div><div><br clear="all"><div><div class="gmail_signature"><div dir="ltr"><b style="font-size:12.8px;color:rgb(136,136,136)"><font size="2">Rahul Sharma</font></b><br style="font-size:12.8px;color:rgb(136,136,136)"><font size="1" style="color:rgb(136,136,136)"><i>MS in Computer Science, 2016</i><br>College of Computer and Information Science, Northeastern University<br>Mobile:  801-706-7860<br>Email: <a href="mailto:rahulsharmaait@gmail.com" target="_blank">rahulsharmaait@gmail.com</a></font><br></div></div></div>
</div></div>