<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.25in 1.0in 1.25in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Can you check dmesg –T to see at least if the messages are not too old?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Are you using port2 as a connection to VM?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:gray">Lenny Verkhovsky<o:p></o:p></span></b></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Eduard Matei [mailto:eduard.matei@cloudfounders.com]
<br>
<b>Sent:</b> Wednesday, June 10, 2015 10:34 AM<br>
<b>To:</b> OpenStack Development Mailing List (not for usage questions)<br>
<b>Subject:</b> [openstack-dev] ThirdPartyCI: Tempest job fails with "Unexpected termination of the channel"<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">Short story:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">- all runs of the tempest job are failing after ~ 1,5 - 2 hrs with  "<span style="font-size:10.0pt;color:#333333">FATAL: java.io.IOException: Unexpected termination of the channel" and jenkins logs "</span><span style="color:#333333">SEVERE:
 I/O error in channel d-p-c-local_01-1655 java.io.IOException: Unexpected termination of the channel"</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">Long story:</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">- Host is 4 core Intel Xeon, 32GB RAM, 3x1TB HDD</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">-- devstack is 2015.1.1, networking is done via n-net
</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">- Jenkins master is a VM, 2 core, 8 GB RAM, 500 GB disk</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">-- not managed through devstack, but using virsh, networking done manually via iptables</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">- test slaves are VMs, m1.large (4 VCPU, 8 GB RAM, trusty), managed by nodepool</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">Load on master is usually around 6-7, memory usage around 90%, little swapping.</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">I tried increasing ClientAliveInterval/ServerAliveInterval and ClientAliveCountMax/ServerAliveCountMax on both the Jenkins VM and on the test vm (using the job to configure), but it still fails with the above
 mentioned error.</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">On the host, dmesg is full of: (not sure if directly related to this)</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">[1037245.231196] br100: port 2(vnet1) entered disabled state
</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333">followed by </span><o:p></o:p></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:9.5pt;color:#333333">[1037259.147672] br100: port 2(vnet1) entered forwarding state<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:9.5pt;color:#333333"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:9.5pt;color:#333333">I think it might be something related to networking on the host itself but i couldn't figure it yet.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:9.5pt;color:#333333"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:9.5pt;color:#333333">Any suggestion on what to try next?<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#333333"><o:p> </o:p></span></p>
</div>
</div>
<div>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Eduard<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</body>
</html>