
<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;">Hello,<div><br></div><div>I’ve had my IT folks install maker on our cluster at UMD. I’m having a SEGFAULT error when running maker on inifiniband nodes vs gigE nodes. According to the logs this appears to be an issue with forks but I’m not sure how to fix this. I would simply use the gigE nodes but we are in the process of updating everything to inifiniband so I’ll need to address this issue as some point. I’ve attached the error log from the MPI run as well as commentary from my HPCC team. </div><div><br></div><div>IT suggestions</div><div><br></div><div><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">If you look at the top of the error log for the problematic job, it clearly</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">warns of an issue with doing 'fork's within openmpi/openfabrics framework.</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">In particular, the use of the fork system call is only partially supported</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">in the OpenFabrics software (this is the drivers, etc for the infiniband</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">connections). See e.g. </span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><a href="http://www.open-mpi.org/faq/?category=openfabrics#ofa-fork" style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">http://www.open-mpi.org/faq/?category=openfabrics#ofa-fork</a><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">for more information. In particular the paragraphs starting with the</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">sentence with the red highlighted "it does not mean that your fork()-calling </span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">application is safe". (The kernel, openMPI version, and OFED version are </span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">sufficiently recent to mean that there is _some_ fork support).</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">The fact that the job runs over gigE but not IB, in conjunction with the</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">warning from openmpi, strongly suggests that this is the issue that you are </span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">encountering. I suspect that maker touches registered memory before the fork,</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">which would result in a segfault (matching what was observed).</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">You can try adding the arguments</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">--mca mpi_warn_on_fork 0 </span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">to the mpirun command, just in case the crash was somehow caused by openmpi's</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">warning, but I would not hold out much hope for that.</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><br></div><div>###UPDATE### This does not fix the problem.<br><br><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">Basically, it looks like maker uses some system calls like fork in a manner</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">which is incompatible with the current OpenFabrics software, and thus will</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">not work with infiniband. This situation is likely to remain until either</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">maker changes to be compatible with OFED, or OFED's support for the fork</span><br style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;">system call is broadened.</span></div><div><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><br></span></div><div><span style="font-family: Arial, Helvetica, sans-serif; font-size: 14px;"><br></span></div><div>

</div></body></html>