<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jul 12, 2017 at 10:33 AM, Pradeep Kilambi <span dir="ltr"><<a href="mailto:prad@redhat.com" target="_blank">prad@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Tue, Jul 11, 2017 at 10:06 PM, Wesley Hayutin <<a href="mailto:whayutin@redhat.com">whayutin@redhat.com</a>> wrote:<br>
><br>
><br>
> On Tue, Jul 11, 2017 at 9:04 PM, Emilien Macchi <<a href="mailto:emilien@redhat.com">emilien@redhat.com</a>> wrote:<br>
>><br>
>> On Tue, Jul 11, 2017 at 12:41 PM, Pradeep Kilambi <<a href="mailto:prad@redhat.com">prad@redhat.com</a>> wrote:<br>
>> > On Tue, Jul 11, 2017 at 3:17 PM, Wesley Hayutin <<a href="mailto:whayutin@redhat.com">whayutin@redhat.com</a>><br>
>> > wrote:<br>
>> >> Greetings,<br>
>> >><br>
>> >> I was looking through the mailing list and I did not see any emails<br>
>> >> explicitly calling out the decreased coverage for telemetry in tripleo<br>
>> >> due<br>
>> >> to [1].  A series of changes went into the CI system to disable<br>
>> >> telemetry<br>
>> >> [2].<br>
>> >><br>
>> >> There is work being done to restore more coverage for telemetry by<br>
>> >> limiting<br>
>> >> the resources it consumes [3].  We are also working on additional<br>
>> >> scenarios<br>
>> >> in t-h-t/ci/environments/ to better cover ceilometer.<br>
>> >><br>
>> >> If the CI environment you are working in has the resources to cover<br>
>> >> ceilometer that is great, however if you find issues like [1] we highly<br>
>> >> suggest you follow the same pattern until coverage is restored<br>
>> >> upstream.<br>
>> >><br>
>> >> Thank you!<br>
>> >><br>
>> >> [1] <a href="https://bugs.launchpad.net/tripleo/+bug/1693174" rel="noreferrer" target="_blank">https://bugs.launchpad.net/<wbr>tripleo/+bug/1693174</a><br>
>> >> [2] <a href="https://review.openstack.org/#/q/topic:bug/1680195" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/q/topic:bug/1680195</a><br>
>> >> [3]<br>
>> >> <a href="https://review.openstack.org/#/c/475838/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/475838/</a><br>
>> >> <a href="https://review.openstack.org/#/c/474969/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/474969/</a><br>
>> >> <a href="https://review.openstack.org/#/c/476666/" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/476666/</a><br>
>> >><br>
>> >><br>
>> ><br>
>> > Thanks for starting this thread Wes. I concur with this. We got bitten<br>
>> > recently by many issues that we could have caught in ci had telemetry<br>
>> > been enabled. I spoke to trown and Emilien about this a few times<br>
>> > already. I do understand the resource footprint it causes.  But with<br>
>> > recent improvements and changes upstream, things should be back to<br>
>> > being more manageable. We do have telemetry tested in scenario001 job,<br>
>> > but that doesn't cover all scenarios. So there is a gap in coverage.<br>
>><br>
>> What do you mean by gap in coverage?<br>
>> We have scenarios on purpose, so we can horizontally scale the<br>
>> coverage across multiple jobs and run the jobs only when we need (e.g.<br>
>> touching telemetry files for scenario001).<br>
>><br>
>> Please elaborate on what isn't covered by scenario001, because we<br>
>> already cover Gnocchi, Panko, Aodh and Ceilometer (with RBD backend<br>
>> and soon with Swift backend in scenario002).<br>
>><br>
><br>
> Emilien,<br>
> Gap is the wrong word to use in the case.<br>
> Previously we had several jobs running with telemetry turned on including<br>
> ovb jobs in tripleo and other jobs outside of the upstream CI system.<br>
> The more jobs running, the more coverage.<br>
> I think that is what Pradeep was referring to, but maybe I am<br>
> misunderstanding this as well.<br>
<br>
</div></div>Yea may be gap is not the right word. But mostly i meant what Wes<br>
said, but also I feel we are not testing Telemetry with full HA<br>
currently in CI. scenario jobs only test deploy with 1 controller not<br>
3. We have seen some recent issues where things work on controller 0<br>
but controller 1 or 2 has statsd down for example. The ovb ha job<br>
would have shown us that, had the ovb ha job included telemetry<br>
enabled. Is it possible to run scenario001 job with full HA ?<br></blockquote><div><br></div><div>Full HA is limited to ovb jobs atm and these jobs currently take longer to run and are barely able to complete in the mandatory upstream timeout period.</div><div>IMHO it's worth the time and effort to see if the performance improvements currently being made to ceilometer will work properly with the OVB jobs, but nothing I can guarantee atm.</div><div><br></div><div>Work is now starting on being able to deploy a full HA envrionment using nodepool multinode jobs.  IMHO this is a better target.</div><div>I will keep you posted on the progress here.</div><div><br></div><div>Thank you Pradeep.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
><br>
><br>
>><br>
>> >  I hope we can either re-enable these services by default in CI and<br>
>> > how things work or at least add a separate gate job to be able to test<br>
>> > HA scenario properly with telemetry enabled.<br>
>> ><br>
>> > --<br>
>> > Cheers,<br>
>> > ~ Prad<br>
>> ><br>
>> ><br>
>> > ______________________________<wbr>______________________________<wbr>______________<br>
>> > OpenStack Development Mailing List (not for usage questions)<br>
>> > Unsubscribe:<br>
>> > <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
>> > <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
>><br>
>><br>
>><br>
>> --<br>
>> Emilien Macchi<br>
><br>
><br>
><br>
> ______________________________<wbr>______________________________<wbr>______________<br>
> OpenStack Development Mailing List (not for usage questions)<br>
> Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
><br>
<br>
<br>
<br>
--<br>
Cheers,<br>
~ Prad<br>
<br>
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
</div></div></blockquote></div><br></div></div>