<div dir="ltr"><div>Short story:</div><div>- all runs of the tempest job are failing after ~ 1,5 - 2 hrs with  "<span style="color:rgb(51,51,51);font-size:13px;white-space:pre-wrap">FATAL: java.io.IOException: Unexpected termination of the channel" and jenkins logs "</span><font color="#333333"><span style="white-space:pre-wrap">SEVERE: I/O error in channel d-p-c-local_01-1655
java.io.IOException: Unexpected termination of the channel"</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">Long story:</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">- Host is 4 core Intel Xeon, 32GB RAM, 3x1TB HDD</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">-- devstack is 2015.1.1, networking is done via n-net </span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">- Jenkins master is a VM, 2 core, 8 GB RAM, 500 GB disk</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">-- not managed through devstack, but using virsh, networking done manually via iptables</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">- test slaves are VMs, m1.large (4 VCPU, 8 GB RAM, trusty), managed by nodepool</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">Load on master is usually around 6-7, memory usage around 90%, little swapping.</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">I tried increasing ClientAliveInterval/ServerAliveInterval and ClientAliveCountMax/ServerAliveCountMax on both the Jenkins VM and on the test vm (using the job to configure), but it still fails with the above mentioned error.</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">On the host, dmesg is full of: (not sure if directly related to this)</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">[1037245.231196] br100: port 2(vnet1) entered disabled state
</span></font></div><div><font color="#333333"><span style="white-space:pre-wrap">followed by </span></font></div><div><font color="#333333"><div style="font-size:12.8000001907349px"><span style="white-space:pre-wrap">[1037259.147672] br100: port 2(vnet1) entered forwarding state</span></div><div style="font-size:12.8000001907349px;white-space:pre-wrap"><br></div><div style="font-size:12.8000001907349px;white-space:pre-wrap">I think it might be something related to networking on the host itself but i couldn't figure it yet.</div><div style="font-size:12.8000001907349px;white-space:pre-wrap"><br></div><div style="font-size:12.8000001907349px;white-space:pre-wrap">Any suggestion on what to try next?</div><div><br></div></font></div><div>Thanks,</div><div>Eduard</div><br>
</div>