I think for HPCC you will need a significant physical system deployment using matched configurations.  Likely your concerns will be providing specific hardware constratins where I/O is a factor that match with what HPCC users would use.  IE 10 gig or infiniband in networking.  Lots of ram.  Full system instances.  SSD?  At the very least fast disks.<br>
<br>When we've benchmarked openstack in the past against super computing units one of the problems we ran into was that openstack was originally designed to run on top of commodity hardware.  Which meant that out of the gate there was already a severe handicap unless that was taken into account.  IE.  Cost comparison.  For x dollars you get x machines.  Unless that is taken into account it exacerbates the issues at play.<br>
<br>I would also focus on ensuring that painpoints that exist in existing HPCC are tested for against openstack and vice versa.  Example... hypervisors introduce latency in memory allocations and cpu queries.  Example... hypervisors make deploying new configurations to the cluster simple fast and userfriendly.  <br>
<br>Also make sure your work loads are diverse.  Map Reduce obviously lends itself to cloud technologies.  While some other methods do not.  More to the point existing software for super computing applications in many cases have no immediate corollary outside of their own custom architectures.  The diversity of options for users would be important data as well.<br>
<br>It would be nice to see a more formal methodology agreed to by HPCC users. However, most HPCC users have such unique environments and demands that that has not been much of a priority.<br><br>-Matt<br><br><div class="gmail_quote">
On Mon, Jul 30, 2012 at 7:22 AM, Reza Bakhshayeshi <span dir="ltr"><<a href="mailto:reza.b2008@gmail.com" target="_blank">reza.b2008@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr"><font color="#000066"><font face="tahoma,sans-serif">Hi<br><br>I want to run HPCC benchmark on OpenStack cloud, I want you to help me to make the results more real.<br>How can we impute the results to OpenStack and not to my computers?<br>


Do I really need a server farm to perform the test?<br>And I think I have to run for example HPL on running instances and not on the main servers, is this correct?<br><br>Please suggest me more rules and conditions.<br><br>


Best Regards<br></font></font></div>
<br>_______________________________________________<br>
Mailing list: <a href="https://launchpad.net/%7Eopenstack" target="_blank">https://launchpad.net/~openstack</a><br>
Post to     : <a href="mailto:openstack@lists.launchpad.net">openstack@lists.launchpad.net</a><br>
Unsubscribe : <a href="https://launchpad.net/%7Eopenstack" target="_blank">https://launchpad.net/~openstack</a><br>
More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
<br></blockquote></div><br>