<div dir="ltr">Hi Carson,<br><br>Thought I should report back that this worked! Now I am just dealing with 4/32 of my contigs failing. It looks like they are failing on the repeat masking step. I am a bit confused as to why just a handful would fail here. Any suggestions on how to overcome this (hopefully final) obstacle?<br><br>Thanks,<br><br>Hayley</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 13, 2023 at 11:20 AM Carson Hinton Holt <<a href="mailto:carson.holt@genetics.utah.edu">carson.holt@genetics.utah.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div>
<div>
The seg fault is being thrown by MPI itself. That is why MAKER can run on its own.
<div><br>
</div>
<div>There are several things you can check (or just do them all as a sort of nuclear option):</div>
<div>*First make sure you are not using conda or miniconda environments. This can create subtle conflicts between executables and libraries as condo/minicanda will try to override some paths.</div>
<div>*Next you may need to install OpenMPI or MPICH yourself (i.e. don’t use apt-get or other package install managers). <a href="https://www.mpich.org/downloads/" target="_blank">https://www.mpich.org/downloads/</a>.</div>
<div>
<div>*Lastly you can also install your own perl and override the system perl. Depends on your system configuration, i.e. if using CentOS 7, your perl is very out of date with other libraries that may have been updated on the system.</div>
<div><br>
</div>
<div>After compiling everything and installing, you will want to reinstall MAKER (the new MPI install must recompile it’s bindings to the application bering run).</div>
<div><br>
</div>
<div><br>
</div>
<div>Here is a step by step (comments marked with ‘#'):</div>
<div>
<div><font face="Courier New">#create a directory to prep install</font></div>
<div><font face="Courier New">mkdir $HOME/install_prep</font></div>
<div><font face="Courier New"><br>
</font></div>
<div><font face="Courier New">#install MPICH</font></div>
<div><font face="Courier New">cd $HOME/install_prep</font></div>
<div><font face="Courier New">wget <a href="https://www.mpich.org/static/downloads/4.1.2/mpich-4.1.2.tar.gz" target="_blank">https://www.mpich.org/static/downloads/4.1.2/mpich-4.1.2.tar.gz</a></font></div>
<div><font face="Courier New">tar -zxvf mpich-4.1.2.tar.gz</font></div>
<div><font face="Courier New">cd mpich-4.1.2/</font></div>
<div><font face="Courier New">./configure --prefix=$HOME/opt/mpich</font></div>
<div><font face="Courier New">make</font></div>
<div><font face="Courier New">make install</font></div>
<div><font face="Courier New">echo 'export PATH=$HOME/opt/mpich/bin:$PATH' >> ~/.bash_profile</font></div>
<div><font face="Courier New">source ~/.bash_profile</font></div>
<div><font face="Courier New"><br>
</font></div>
<div><font face="Courier New">#install a new Perl</font></div>
<div><font face="Courier New">cd $HOME/install_prep</font></div>
<div><font face="Courier New">wget <a href="https://www.cpan.org/src/5.0/perl-5.38.0.tar.gz" target="_blank">https://www.cpan.org/src/5.0/perl-5.38.0.tar.gz</a> --no-check-certificate</font></div>
<div><font face="Courier New">tar -zxvf perl-5.38.0.tar.gz</font></div>
<div><font face="Courier New">cd perl-5.38.0</font></div>
<div><font face="Courier New">./Configure -d -Dprefix=$HOME/opt/perl5</font></div>
<div><font face="Courier New">make</font></div>
<div><font face="Courier New">make install</font></div>
<div><font face="Courier New">echo 'export PATH=$HOME/opt/perl5/bin:$PATH' >> ~/.bash_profile</font></div>
<div><font face="Courier New">source ~/.bash_profile</font></div>
<div><font face="Courier New"><br>
</font></div>
<div><font face="Courier New">#install MAKER with MPI support</font></div>
<div><font face="Courier New">cd $HOME/opt</font></div>
<div><font face="Courier New">wget <a href="http://weatherby.genetics.utah.edu/maker_downloads/AD6E/A1B0/C2B7/558563CFD35E343BA1B888148294/maker-3.01.04.tgz" target="_blank">http://weatherby.genetics.utah.edu/maker_downloads/AD6E/A1B0/C2B7/558563CFD35E343BA1B888148294/maker-3.01.04.tgz</a></font></div>
<div><font face="Courier New">tar -zxvf maker-3.01.04.tgz</font></div>
<div><font face="Courier New">rm -rf maker-3.01.04.tgz</font></div>
<div><font face="Courier New">cd maker/src</font></div>
<div><font face="Courier New">perl Build.PL ##say yes to MPI question</font></div>
<div><font face="Courier New">./Build installdeps ##just hit 'enter' to accept any defaults</font></div>
<div><font face="Courier New">### if you get errors mentioning '--no-check-certificate', run the command 'cpan' in your terminal.</font></div>
<div><font face="Courier New">### If it asks to set up everything automatically, say 'yes'.</font></div>
<div><font face="Courier New">### Next, whil einside cpan, run the command 'o conf init pushy_https'.</font></div>
<div><font face="Courier New">### Say 'no' to the question it asks, and then run 'o conf commit' to save changes and 'q' to exit.</font></div>
<div><font face="Courier New">### Then retry the './Build installdeps' command</font></div>
<div><font face="Courier New">./Build installexes</font></div>
<div><font face="Courier New">./Build install</font></div>
<div><font face="Courier New">echo 'export PATH=$HOME/opt/maker/bin:$PATH' >> ~/.bash_profile</font></div>
<div><font face="Courier New">source ~/.bash_profile</font></div>
<div><font face="Courier New"><br>
</font></div>
<div><font face="Courier New">#test MAKER</font></div>
<div><font face="Courier New">cd $HOME/install_prep</font></div>
<div><font face="Courier New">mpiexec -n 10 maker --help ##should print a single help message</font></div>
<div><font face="Courier New">cp -R $HOME/opt/maker/data ./test</font></div>
<div><font face="Courier New">cd test</font></div>
<div><font face="Courier New">maker -CTL</font></div>
<div><font face="Courier New">mpiexec -n 10 maker --protein dpp_protein.fasta --genome dpp_contig.fasta --est dpp_est.fasta ##should run MAKER under MPI</font></div>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div>—Carson</div>
<div><br>
<div><br>
<blockquote type="cite">
<div>On Sep 12, 2023, at 2:22 PM, Hayley Mangelson <<a href="mailto:hayley@phasegenomics.com" target="_blank">hayley@phasegenomics.com</a>> wrote:</div>
<br>
<div>
<div dir="ltr">Hi Carson,<br>
<br>
I have tried installing MPICH and OpenMPI various ways now and am still having issues. MAKER appears to be running when I am not using MPI, but I am attaching the maker output (with -debug flag) and here is the error I get when trying to multithread.<br>
<br>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">===================================================================================</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">= <span>
  </span>BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">= <span>
  </span>PID 35952 RUNNING AT ip-172-31-12-194</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">= <span>
  </span>EXIT CODE: 9</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">= <span>
  </span>CLEANING UP REMAINING PROCESSES</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">= <span>
  </span>YOU CAN IGNORE THE BELOW CLEANUP MESSAGES</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">===================================================================================</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">YOUR APPLICATION TERMINATED WITH THE EXIT STRING: Segmentation fault (signal 11)</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">This typically refers to a problem with your application.</span></div>
<div style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-variant-alternates:normal;font-kerning:auto;font-feature-settings:normal;font-stretch:normal;font-size:11px;line-height:normal;font-family:Menlo">
<span style="font-variant-ligatures:no-common-ligatures">Please see the FAQ page for debugging suggestions</span></div>
</div>
<br>
<div class="gmail_quote">
<div dir="ltr" class="gmail_attr">On Thu, Aug 24, 2023 at 6:26 PM Carson Holt <<a href="mailto:carsonhh@gmail.com" target="_blank">carsonhh@gmail.com</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>Once you install MPICH or OpenMPI you must launch MAKER through mpiexec and speciffy the CPU count to MPI. On a single instance you just give the CPU count off that instance, but you can also go across instances using Amazon’s Parallel Cluster. 
<div><br>
</div>
<div>Here is an example —> <a href="https://efish.integrativebiology.msu.edu/2015/02/10/annotate.html" target="_blank">https://efish.integrativebiology.msu.edu/2015/02/10/annotate.html</a></div>
<div>That example uses StarCluster which is now deprecated, but the MPI install and MAKER run still apply.</div>
<div><br>
</div>
<div>Here is another example of using MPi —> <a href="https://weatherby.genetics.utah.edu/MAKER/wiki/index.php/MAKER_Tutorial_for_WGS_Assembly_and_Annotation_Winter_School_2018#MPI_Support" target="_blank">https://weatherby.genetics.utah.edu/MAKER/wiki/index.php/MAKER_Tutorial_for_WGS_Assembly_and_Annotation_Winter_School_2018#MPI_Support</a></div>
<div><br>
</div>
<div>Note that for OpenMPI you have to set the LD_PRELOAD environmental variable before launch.</div>
<div><span style="color:rgb(34,34,34);font-family:monospace,monospace;font-size:14px;background-color:rgb(255,255,255)">export LD_PRELOAD=/usr/lib64/openmpi-1.10/lib/libmpi.so</span></div>
<div><br>
</div>
<div>—Carson</div>
<div><br>
</div>
<div>
<div><br>
<blockquote type="cite">
<div>On Aug 18, 2023, at 2:53 PM, Hayley Mangelson <<a href="mailto:hayley@phasegenomics.com" target="_blank">hayley@phasegenomics.com</a>> wrote:</div>
<br>
<div>
<div dir="ltr">I am working on an AWS EC2 instance that runs Amazon Linux, and I have tried a couple of installs (MPICH and Open MPI), neither of which worked. I don't have any installed on my current instance.</div>
<br>
<div class="gmail_quote">
<div dir="ltr" class="gmail_attr">On Tue, Aug 15, 2023 at 5:08 PM Carson Holt <<a href="mailto:carsonhh@gmail.com" target="_blank">carsonhh@gmail.com</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>Do you already have MPI installed on your system, and if so which MPI and what version (i.e. MPICH, MVAPICH2, Intel MPI, Open MPI, etc)?<br>
<div><br>
</div>
<div>—Carson</div>
<div><br>
</div>
<div><br>
<blockquote type="cite">
<div>On Aug 15, 2023, at 9:34 AM, Hayley Mangelson <<a href="mailto:hayley@phasegenomics.com" target="_blank">hayley@phasegenomics.com</a>> wrote:</div>
<br>
<div>
<div dir="ltr">Hi Carson,<br>
<br>
Excellent, thanks so much! I have that part working. The multithreading is still eluding me. Do you have a recommended method of installing a compatible version of MPI?<br>
<br>
Thanks,<br>
<br>
Hayley</div>
<br>
<div class="gmail_quote">
<div dir="ltr" class="gmail_attr">On Fri, Aug 11, 2023 at 4:04 PM Carson Holt <<a href="mailto:carsonhh@gmail.com" target="_blank">carsonhh@gmail.com</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>The error is coming from Augustus. There is a problem with the species file you selected. Or you put it in the wrong place.
<div><br>
</div>
<div>This is the error —> </div>
<div><font face="Courier New">Could not find the config file /home/ec2-user/MAKERTOOLS/maker/exe/augustus/config/species/BUSCO_evans_trout_hap1/BUSCO_evans_trout_hap1_parameters.cfg</font><br>
<div><br>
</div>
<div>The species info must exist under this base directory by default (it’s where you let MAKER install Augustus) —>  /home/ec2-user/MAKERTOOLS/maker/exe/augustus/config/species/</div>
<div><br>
</div>
<div>You can also place the species files somewhere else but you need to set the AUGUSTUS_CONFIG_PATH so Augustus knows where to look.</div>
<div><br>
</div>
<div>Example (in your ~/.bash_profile):</div>
<div><font face="Courier New">export AUGUSTUS_CONFIG_PATH=$HOME/muy_augustus_species</font></div>
<div><br>
</div>
<div>Thanks,</div>
<div>Carson</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
<blockquote type="cite">
<div>On Aug 11, 2023, at 7:20 AM, Hayley Mangelson <<a href="mailto:hayley@phasegenomics.com" target="_blank">hayley@phasegenomics.com</a>> wrote:</div>
<br>
<div>
<div dir="ltr">Hi Carson,
<div><br>
</div>
<div>Sure thing! Sorry for the delay, I was on vacation. I reran with just a single scaffold. Here is the STDERR.</div>
</div>
<br>
<div class="gmail_quote">
<div dir="ltr" class="gmail_attr">On Mon, Jul 31, 2023 at 12:06 PM Carson Holt <<a href="mailto:carsonhh@gmail.com" target="_blank">carsonhh@gmail.com</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div dir="auto">Can you send me the STDERR from the maker run? If you don’t have it, run maker again with the output from the screen redirected to a file. Example —> maker &> all_output.txt
<div><br>
<div dir="ltr">--Carson
<div><br>
</div>
<div>Sent from my iPhone</div>
</div>
<div dir="ltr"><br>
<blockquote type="cite">On Jul 31, 2023, at 10:04 AM, Hayley Mangelson <<a href="mailto:hayley@phasegenomics.com" target="_blank">hayley@phasegenomics.com</a>> wrote:<br>
<br>
</blockquote>
</div>
<blockquote type="cite">
<div dir="ltr">
<div dir="ltr">Hi!<br>
<br>
I am trying to get a fresh install of MAKER to work for me and am having a few issues. <br>
<br>
1. I got MAKER installed (I thought) and now the log is saying all contigs failed. See attached log.<br>
2. Having tried several versions and methods of installation, I cannot get multithreading to work.<br>
<br>
Could you help me work through these issues?<br clear="all">
<div>Thanks,<br>
<br>
Hayley</div>
<span class="gmail_signature_prefix">-- </span><br>
<div dir="ltr" class="gmail_signature">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div><font color="#666666">Hayley Mangelson<br>
</font></div>
<div><font color="#666666">Senior Bioinformatics Lead</font></div>
<div><font color="#666666">Phase Genomics, Inc</font></div>
<div><a href="http://www.phasegenomics.com/" style="color:rgb(17,85,204)" target="_blank">www.phasegenomics.com</a><font color="#666666"><br>
</font></div>
<div><br>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<div><PGA_assembly_hap1_master_datastore_index.log></div>
<span>_______________________________________________</span><br>
<span>maker-devel mailing list</span><br>
<span><a href="mailto:maker-devel@yandell-lab.org" target="_blank">maker-devel@yandell-lab.org</a></span><br>
<span><a href="http://yandell-lab.org/mailman/listinfo/maker-devel_yandell-lab.org" target="_blank">http://yandell-lab.org/mailman/listinfo/maker-devel_yandell-lab.org</a></span><br>
</div>
</blockquote>
</div>
</div>
</blockquote>
</div>
<br clear="all">
<div><br>
</div>
<span class="gmail_signature_prefix">-- </span><br>
<div dir="ltr" class="gmail_signature">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div><font color="#666666">Hayley Mangelson<br>
</font></div>
<div><font color="#666666">Senior Bioinformatics Lead</font></div>
<div><font color="#666666">Phase Genomics, Inc</font></div>
<div><a href="http://www.phasegenomics.com/" style="color:rgb(17,85,204)" target="_blank">www.phasegenomics.com</a><font color="#666666"><br>
</font></div>
<div><br>
</div>
</div>
</div>
</div>
</div>
</div>
<span id="m_3262302480838010985m_-1513116109488063101m_-266849010702840636m_5742583939785835335cid:f_ll6m87vq0"><all_output.txt></span></div>
</blockquote>
</div>
<br>
</div>
</div>
</blockquote>
</div>
<br clear="all">
<div><br>
</div>
<span class="gmail_signature_prefix">-- </span><br>
<div dir="ltr" class="gmail_signature">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div><font color="#666666">Hayley Mangelson<br>
</font></div>
<div><font color="#666666">Senior Bioinformatics Lead</font></div>
<div><font color="#666666">Phase Genomics, Inc</font></div>
<div><a href="http://www.phasegenomics.com/" style="color:rgb(17,85,204)" target="_blank">www.phasegenomics.com</a><font color="#666666"><br>
</font></div>
<div><br>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</blockquote>
</div>
<br clear="all">
<div><br>
</div>
<span class="gmail_signature_prefix">-- </span><br>
<div dir="ltr" class="gmail_signature">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div><font color="#666666">Hayley Mangelson<br>
</font></div>
<div><font color="#666666">Senior Bioinformatics Lead</font></div>
<div><font color="#666666">Phase Genomics, Inc</font></div>
<div><a href="http://www.phasegenomics.com/" style="color:rgb(17,85,204)" target="_blank">www.phasegenomics.com</a><font color="#666666"><br>
</font></div>
<div><br>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div>
</blockquote>
</div>
<br clear="all">
<div><br>
</div>
<span class="gmail_signature_prefix">-- </span><br>
<div dir="ltr" class="gmail_signature">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div dir="ltr">
<div><font color="#666666">Hayley Mangelson<br>
</font></div>
<div><font color="#666666">Senior Bioinformatics Lead</font></div>
<div><font color="#666666">Phase Genomics, Inc</font></div>
<div><a href="http://www.phasegenomics.com/" style="color:rgb(17,85,204)" target="_blank">www.phasegenomics.com</a><font color="#666666"><br>
</font></div>
<div><br>
</div>
</div>
</div>
</div>
</div>
</div>
<span id="m_3262302480838010985cid:f_lmgredat0"><all_output.txt></span></div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
</div>

</blockquote></div><br clear="all"><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><font color="#666666">Hayley Mangelson<br></font></div><div><font color="#666666">Senior Bioinformatics Lead</font></div><div><font color="#666666">Phase Genomics, Inc</font></div><div><a href="http://www.phasegenomics.com/" style="color:rgb(17,85,204)" target="_blank">www.phasegenomics.com</a><font color="#666666"><br></font></div><div><br></div></div></div></div></div></div>