<div dir="ltr">Hi Eric<div><br></div><div>Thanks for uncovering the /tmp limitation. I had changed TMPDIR in my maker_opts.ctl file, but I suppose gff3_merge would not use that setting, and would use /tmp or whatever TMPDIR was set to in the current shell.</div>

<div><br></div><div>Cheers,</div><div><br></div><div>- Sujai</div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 18 November 2013 20:24, Ross, Eric <span dir="ltr"><<a href="mailto:ejr@stowers.org" target="_blank">ejr@stowers.org</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I had the same problem Sujai reported  on the 25th.<br>
<br>
When I run gff3_merge I only get back results from a subset of my<br>
scaffolds.  Every scaffold has a gff file in the data store.  fasta_merge<br>
works fine.  No errors are printed to STDOUT.<br>
<br>
It took me some poking around, but this seems that if there is<br>
insufficient space in /tmp to generate the temporary files merge_gff3<br>
completes without error and just creates a gff file from whatever fit in<br>
the temporary files.  I'm not sure why tempfile() doesn't return a useful<br>
error.<br>
<br>
I was able to get around the error by setting the environment variable<br>
TMPDIR to someplace with sufficient space, but if there is a way to<br>
generate a useful error it might be worth adding.<br>
<br>
<br>
Eric<br>
<br>
<br>
<br>
<br>
--original below--<br>
On Friday, October 25, 2013 11:22:08 AM UTC-5, Barry wrote:<br>
Hi Sujai,<br>
If you still have that original directory available a couple things you to<br>
try:<br>
<br>
# Does this give you the number of contigs you're expecting?<br>
find datastore_directory -name '*.gff3' | wc -l<br>
<br>
# If the above gives what you expect what does the file size look like on<br>
the smallest files?<br>
find ./ -type f | xargs ls -Sl | tail<br>
<br>
Barry<br>
<br>
On Oct 24, 2013, at 4:04 PM, Sujai wrote:<br>
<br>
<br>
Hi Barry<br>
<br>
The last stderr message in the job is from the maker command:<br>
<br>
Maker is now finished!!!<br>
<br>
my last 3 commands were (in my pbs/torque job script):<br>
<br>
----job script----<br>
...other commands to set variables etc...<br>
mpiexec -n 12 maker -g $SPLITFILE -base $SPLITFILE maker_opts.ctl<br>
maker_bopts.ctl maker_exe.ctl<br>
gff3_merge -o $PBS_O_WORKDIR/$SPLITFILE.gff3 -d<br>
$SPLITFILE.maker.output/${SPLITFILE}_master_datastore_index.log<br>
fasta_merge -d<br>
$SPLITFILE.maker.output/${SPLITFILE}_master_datastore_index.log<br>
-----<br>
<br>
so, no gff3_merge stderr messages<br>
the fasta_merge command (which came after gff3_merge) has completed<br>
correctly, with all proteins and transcripts accounted for.<br>
I just ran the same contigs again in smaller batches, and it seems to be<br>
proceeding correctly (the final gff3 files are between 49-55MB for each<br>
chunk of fasta files. In the previous case, the final GFF3 file was 99MB<br>
or 100MB (which is why I thought there was some sort of filesize/memory<br>
limit)<br>
<br>
Thanks for looking into this,<br>
<br>
- Sujai<br>
<br>
<br>
<br>
<br>
On 24 October 2013 21:42, Barry Moore <<a href="mailto:barry...@genetics.utah.edu">barry...@genetics.utah.edu</a> <>><br>
wrote:<br>
<br>
Hi Sujai,<br>
There are a couple of fatal errors that can be thrown by gff3_merge if it<br>
encounters errors.  Did you capture STDERR and do you see any failures<br>
there?<br>
<br>
B<br>
<br>
On Oct 24, 2013, at 10:43 AM, Sujai wrote:<br>
<br>
<br>
<br>
<br>
Hi all<br>
First of all, thank you to Carson Holt and Mark Yandell and team for an<br>
excellent program with excellent installation instructions. Setting maker<br>
2.28 up and running it (both with MPI and without) was a breeze on a PBS<br>
cluster. Everything worked as expected (doesn't happen that often in<br>
bioinformatics software! :-))<br>
<br>
I did a test run on 150 longish contigs (>50kb each) and everything worked<br>
fine, including gff3_merge, fasta_merge etc. I got predictions for all the<br>
contigs etc.<br>
<br>
<br>
However, when I ran it on the full 20,000 sequence file (minimum 300 bp, I<br>
know - I could have set the min length in maker_opts.ctl but I wanted the<br>
repeatmasker analysis done even for the smaller contigs), I had a problem:<br>
<br>
1. the intermediate files were all fine (i.e. grep -c FINISHED<br>
...master_datastore_index.log showed the right number of sequences)<br>
<br>
2. But gff3_merge -d ...master_datastore_index.log  only gave a file with<br>
about 9000 contigs. I ran it a few times and got the same result each<br>
time. fasta_merge gave back sequences from all ~20,000 contigs, so I know<br>
the contig_datastore was fine.<br>
<br>
3. Could it be that gff3_merge hit some sort of output limit? the GFF3<br>
file created seems to be almost exactly 100MB. Or could it be a limit of<br>
my OS environment? I had a lot of memory (12 GB) and a large tmp directory<br>
(10 GB) so that should not be a problem...<br>
<br>
If anyone has seen this problem or can shed any light on this, that would<br>
be great.<br>
<br>
I'm going to try splitting the file into smaller sets and hoping for the<br>
best.<br>
<br>
Thanks<br>
<br>
- Sujai<br>
<br>
<br>
<br>
<br>
--<br>
You received this message because you are subscribed to the Google Groups<br>
"maker-devel" group.<br>
To unsubscribe from this group and stop receiving emails from it, send an<br>
email to <a href="mailto:maker-devel...@googlegroups.com">maker-devel...@googlegroups.com</a> <>.<br>
To post to this group, send email to <a href="mailto:maker...@googlegroups.com">maker...@googlegroups.com</a> <>.<br>
Visit this group at <a href="http://groups.google.com/group/maker-devel" target="_blank">http://groups.google.com/group/maker-devel</a>.<br>
For more options, visit <a href="https://groups.google.com/groups/opt_out" target="_blank">https://groups.google.com/groups/opt_out</a>.<br>
<br>
<br>
<br>
<br>
Barry Moore<br>
Research Scientist<br>
Dept. of Human Genetics<br>
University of Utah<br>
Salt Lake City, UT 84112<br>
--------------------------------------------<br>
<a href="tel:%28801%29%20585-3543" value="+18015853543">(801) 585-3543</a><br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
--<br>
You received this message because you are subscribed to a topic in the<br>
Google Groups "maker-devel" group.<br>
To unsubscribe from this topic, visit<br>
<a href="https://groups.google.com/d/topic/maker-devel/bApnLPFgmRc/unsubscribe" target="_blank">https://groups.google.com/d/topic/maker-devel/bApnLPFgmRc/unsubscribe</a>.<br>
To unsubscribe from this group and all its topics, send an email to<br>
<a href="mailto:maker-devel...@googlegroups.com">maker-devel...@googlegroups.com</a> <>.<br>
To post to this group, send email to <a href="mailto:maker...@googlegroups.com">maker...@googlegroups.com</a> <>.<br>
Visit this group at <a href="http://groups.google.com/group/maker-devel" target="_blank">http://groups.google.com/group/maker-devel</a>.<br>
For more options, visit <a href="https://groups.google.com/groups/opt_out" target="_blank">https://groups.google.com/groups/opt_out</a>.<br>
<br>
<br>
<br>
<br>
<br>
<br>
--<br>
You received this message because you are subscribed to the Google Groups<br>
"maker-devel" group.<br>
To unsubscribe from this group and stop receiving emails from it, send an<br>
email to <a href="mailto:maker-devel...@googlegroups.com">maker-devel...@googlegroups.com</a> <>.<br>
To post to this group, send email to <a href="mailto:maker...@googlegroups.com">maker...@googlegroups.com</a> <>.<br>
Visit this group at <a href="http://groups.google.com/group/maker-devel" target="_blank">http://groups.google.com/group/maker-devel</a>.<br>
For more options, visit <a href="https://groups.google.com/groups/opt_out" target="_blank">https://groups.google.com/groups/opt_out</a>.<br>
<br>
<br>
<br>
<br>
Barry Moore<br>
Research Scientist<br>
Dept. of Human Genetics<br>
University of Utah<br>
Salt Lake City, UT 84112<br>
--------------------------------------------<br>
<a href="tel:%28801%29%20585-3543" value="+18015853543">(801) 585-3543</a><br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
On Friday, October 25, 2013 11:22:08 AM UTC-5, Barry wrote:<br>
Hi Sujai,<br>
If you still have that original directory available a couple things you to<br>
try:<br>
<br>
# Does this give you the number of contigs you're expecting?<br>
find datastore_directory -name '*.gff3' | wc -l<br>
<br>
# If the above gives what you expect what does the file size look like on<br>
the smallest files?<br>
find ./ -type f | xargs ls -Sl | tail<br>
<br>
Barry<br>
<br>
On Oct 24, 2013, at 4:04 PM, Sujai wrote:<br>
<br>
<br>
Hi Barry<br>
<br>
The last stderr message in the job is from the maker command:<br>
<br>
Maker is now finished!!!<br>
<br>
my last 3 commands were (in my pbs/torque job script):<br>
<br>
----job script----<br>
...other commands to set variables etc...<br>
mpiexec -n 12 maker -g $SPLITFILE -base $SPLITFILE maker_opts.ctl<br>
maker_bopts.ctl maker_exe.ctl<br>
gff3_merge -o $PBS_O_WORKDIR/$SPLITFILE.gff3 -d<br>
$SPLITFILE.maker.output/${SPLITFILE}_master_datastore_index.log<br>
fasta_merge -d<br>
$SPLITFILE.maker.output/${SPLITFILE}_master_datastore_index.log<br>
-----<br>
<br>
so, no gff3_merge stderr messages<br>
the fasta_merge command (which came after gff3_merge) has completed<br>
correctly, with all proteins and transcripts accounted for.<br>
I just ran the same contigs again in smaller batches, and it seems to be<br>
proceeding correctly (the final gff3 files are between 49-55MB for each<br>
chunk of fasta files. In the previous case, the final GFF3 file was 99MB<br>
or 100MB (which is why I thought there was some sort of filesize/memory<br>
limit)<br>
<br>
Thanks for looking into this,<br>
<br>
- Sujai<br>
<br>
<br>
<br>
<br>
On 24 October 2013 21:42, Barry Moore <<a href="mailto:barry...@genetics.utah.edu">barry...@genetics.utah.edu</a> <>><br>
wrote:<br>
<br>
Hi Sujai,<br>
There are a couple of fatal errors that can be thrown by gff3_merge if it<br>
encounters errors.  Did you capture STDERR and do you see any failures<br>
there?<br>
<br>
B<br>
<br>
On Oct 24, 2013, at 10:43 AM, Sujai wrote:<br>
<br>
<br>
<br>
<br>
Hi all<br>
First of all, thank you to Carson Holt and Mark Yandell and team for an<br>
excellent program with excellent installation instructions. Setting maker<br>
2.28 up and running it (both with MPI and without) was a breeze on a PBS<br>
cluster. Everything worked as expected (doesn't happen that often in<br>
bioinformatics software! :-))<br>
<br>
I did a test run on 150 longish contigs (>50kb each) and everything worked<br>
fine, including gff3_merge, fasta_merge etc. I got predictions for all the<br>
contigs etc.<br>
<br>
<br>
However, when I ran it on the full 20,000 sequence file (minimum 300 bp, I<br>
know - I could have set the min length in maker_opts.ctl but I wanted the<br>
repeatmasker analysis done even for the smaller contigs), I had a problem:<br>
<br>
1. the intermediate files were all fine (i.e. grep -c FINISHED<br>
...master_datastore_index.log showed the right number of sequences)<br>
<br>
2. But gff3_merge -d ...master_datastore_index.log  only gave a file with<br>
about 9000 contigs. I ran it a few times and got the same result each<br>
time. fasta_merge gave back sequences from all ~20,000 contigs, so I know<br>
the contig_datastore was fine.<br>
<br>
3. Could it be that gff3_merge hit some sort of output limit? the GFF3<br>
file created seems to be almost exactly 100MB. Or could it be a limit of<br>
my OS environment? I had a lot of memory (12 GB) and a large tmp directory<br>
(10 GB) so that should not be a problem...<br>
<br>
If anyone has seen this problem or can shed any light on this, that would<br>
be great.<br>
<br>
I'm going to try splitting the file into smaller sets and hoping for the<br>
best.<br>
<br>
Thanks<br>
<br>
- Sujai<br>
<br>
<br>
<br>
<br>
--<br>
You received this message because you are subscribed to the Google Groups<br>
"maker-devel" group.<br>
To unsubscribe from this group and stop receiving emails from it, send an<br>
email to <a href="mailto:maker-devel...@googlegroups.com">maker-devel...@googlegroups.com</a> <>.<br>
To post to this group, send email to <a href="mailto:maker...@googlegroups.com">maker...@googlegroups.com</a> <>.<br>
Visit this group at <a href="http://groups.google.com/group/maker-devel" target="_blank">http://groups.google.com/group/maker-devel</a>.<br>
For more options, visit <a href="https://groups.google.com/groups/opt_out" target="_blank">https://groups.google.com/groups/opt_out</a>.<br>
<br>
<br>
<br>
<br>
Barry Moore<br>
Research Scientist<br>
Dept. of Human Genetics<br>
University of Utah<br>
Salt Lake City, UT 84112<br>
--------------------------------------------<br>
<a href="tel:%28801%29%20585-3543" value="+18015853543">(801) 585-3543</a><br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
--<br>
You received this message because you are subscribed to a topic in the<br>
Google Groups "maker-devel" group.<br>
To unsubscribe from this topic, visit<br>
<a href="https://groups.google.com/d/topic/maker-devel/bApnLPFgmRc/unsubscribe" target="_blank">https://groups.google.com/d/topic/maker-devel/bApnLPFgmRc/unsubscribe</a>.<br>
To unsubscribe from this group and all its topics, send an email to<br>
<a href="mailto:maker-devel...@googlegroups.com">maker-devel...@googlegroups.com</a> <>.<br>
To post to this group, send email to <a href="mailto:maker...@googlegroups.com">maker...@googlegroups.com</a> <>.<br>
Visit this group at <a href="http://groups.google.com/group/maker-devel" target="_blank">http://groups.google.com/group/maker-devel</a>.<br>
For more options, visit <a href="https://groups.google.com/groups/opt_out" target="_blank">https://groups.google.com/groups/opt_out</a>.<br>
<br>
<br>
<br>
<br>
<br>
<br>
--<br>
You received this message because you are subscribed to the Google Groups<br>
"maker-devel" group.<br>
To unsubscribe from this group and stop receiving emails from it, send an<br>
email to <a href="mailto:maker-devel...@googlegroups.com">maker-devel...@googlegroups.com</a> <>.<br>
To post to this group, send email to <a href="mailto:maker...@googlegroups.com">maker...@googlegroups.com</a> <>.<br>
Visit this group at <a href="http://groups.google.com/group/maker-devel" target="_blank">http://groups.google.com/group/maker-devel</a>.<br>
For more options, visit <a href="https://groups.google.com/groups/opt_out" target="_blank">https://groups.google.com/groups/opt_out</a>.<br>
<br>
<br>
<br>
<br>
Barry Moore<br>
Research Scientist<br>
Dept. of Human Genetics<br>
University of Utah<br>
Salt Lake City, UT 84112<br>
--------------------------------------------<br>
<a href="tel:%28801%29%20585-3543" value="+18015853543">(801) 585-3543</a><br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
_______________________________________________<br>
maker-devel mailing list<br>
<a href="mailto:maker-devel@box290.bluehost.com">maker-devel@box290.bluehost.com</a><br>
<a href="http://box290.bluehost.com/mailman/listinfo/maker-devel_yandell-lab.org" target="_blank">http://box290.bluehost.com/mailman/listinfo/maker-devel_yandell-lab.org</a><br>
</blockquote></div><br></div>