add regression test binary models with lex reordering. Fix other regression tests - changed to account for new LM prob from IRST or use KenLM

git-svn-id: https://mosesdecoder.svn.sourceforge.net/svnroot/mosesdecoder/trunk@4366 1f5c12ca-751b-0410-a591-d2e778427230

8 files changed, 31 insertions, 28 deletions

diff --git a/regression-testing/MosesRegressionTesting.pm b/regression-testing/MosesRegressionTesting.pm
index 77d6e730c..5a5b977ba 100644
--- a/regression-testing/MosesRegressionTesting.pm
+++ b/regression-testing/MosesRegressionTesting.pm
@@ -5,7 +5,7 @@ use strict;
 # if your tests need a new version of the test data, increment this
 # and make sure that a moses-regression-tests-vX.Y is available for
 # download from statmt.org (redpony AT umd dot edu for more info)
-use constant TESTING_DATA_VERSION => '7';
+use constant TESTING_DATA_VERSION => '8';
 
 # find the data directory in a few likely locations and make sure
 # that it is the correct version
diff --git a/regression-testing/run-test-suite.perl b/regression-testing/run-test-suite.perl
index 08e3cea1a..f2fa9be08 100755
--- a/regression-testing/run-test-suite.perl
+++ b/regression-testing/run-test-suite.perl
@@ -43,6 +43,7 @@ my @tests = qw (
   phrase.lattice-surface
   phrase.lattice-distortion
   phrase.lexicalized-reordering
+  phrase.lexicalized-reordering-bin
   phrase.lexicalized-reordering-cn
   phrase.consensus-decoding-surface
   phrase.continue-partial-translation
diff --git a/regression-testing/tests/chart.hierarchical.ondisk/truth/results.txt b/regression-testing/tests/chart.hierarchical.ondisk/truth/results.txt
index 5ed37b255..c48776609 100644
--- a/regression-testing/tests/chart.hierarchical.ondisk/truth/results.txt
+++ b/regression-testing/tests/chart.hierarchical.ondisk/truth/results.txt
@@ -7,7 +7,7 @@ LMLOAD_TIME ~ 1.000
 PTLOAD_TIME ~ 1.000
 SCORE_1 = -12.918
 SCORE_2 = -12.745
-SCORE_3 = -117.149
+SCORE_3 = -117.584
 SCORE_4 = -122.970
 SCORE_5 = -9.131
 TOTAL_WALLTIME ~ 23
diff --git a/regression-testing/tests/chart.hierarchical/truth/results.txt b/regression-testing/tests/chart.hierarchical/truth/results.txt
index ff9efc6c8..a3491649b 100644
--- a/regression-testing/tests/chart.hierarchical/truth/results.txt
+++ b/regression-testing/tests/chart.hierarchical/truth/results.txt
@@ -9,7 +9,7 @@ PTLOAD_TIME ~ 83.000
 PTLOAD_TIME ~ 83.000
 SCORE_1 = -12.918
 SCORE_2 = -12.745
-SCORE_3 = -117.149
+SCORE_3 = -117.584
 SCORE_4 = -122.749
 SCORE_5 = -9.149
 TOTAL_WALLTIME ~ 105
diff --git a/regression-testing/tests/chart.target-syntax.ondisk/moses.ini b/regression-testing/tests/chart.target-syntax.ondisk/moses.ini
index c04c13872..0e40974f0 100644
--- a/regression-testing/tests/chart.target-syntax.ondisk/moses.ini
+++ b/regression-testing/tests/chart.target-syntax.ondisk/moses.ini
@@ -20,7 +20,7 @@
 
 # language models: type(srilm/irstlm), factors, order, file
 [lmodel-file]
-1 0 5 ${LM_PATH}/news.de.binlm
+8 0 5 ${LM_PATH}/news.de.arpalm.gz
 
 
 # limit on how many phrase translations e for each phrase f are loaded
diff --git a/regression-testing/tests/chart.target-syntax.ondisk/truth/results.txt b/regression-testing/tests/chart.target-syntax.ondisk/truth/results.txt
index b9af41b98..ac9629ca9 100644
--- a/regression-testing/tests/chart.target-syntax.ondisk/truth/results.txt
+++ b/regression-testing/tests/chart.target-syntax.ondisk/truth/results.txt
@@ -1,13 +1,15 @@
-TRANSLATION_1=Prag an Market fällt zu ohne am Ende des Handel Tag
-TRANSLATION_2=nach einem steilen Rückgang der Morgen , die Prag Stock Market korrigiert ihre Verluste .
-TRANSLATION_3=Geschäfte mit Aktien aus der tschechischen Energy Enterprise ( ČEZ ) erreicht beinahe die Hälfte der regelmäßigen Tageszeitung Handel .
-TRANSLATION_4=durch die Prag Stock Market sofort ihren fallen aus Montag Anfang Tuesday der Handel , als es um beinahe sechs Prozent .
-TRANSLATION_5=dieses Mal den Rückgang der Aktien an der Wall Street verantwortlich ist für den Einbruch .
-LMLOAD_TIME ~ 1.000
-PTLOAD_TIME ~ 1.000
-SCORE_1 = -9.173
-SCORE_2 = -9.857
-SCORE_3 = -113.066
-SCORE_4 = -117.916
-SCORE_5 = -7.325
-TOTAL_WALLTIME ~ 51
+TRANSLATION_1=Prag Stock Markt fällt , ohne Ende der Handel mit jedem Tag
+TRANSLATION_2=nach einem steilen Rückgang der Morgen , dem Prager Stock Markt ihre Verluste korrigiert .
+TRANSLATION_3=Geschäfte mit Aktien von der tschechischen Energy Enterprise ( ČEZ ) erreicht beinahe die Hälfte der regelmäßigen täglich Handel .
+TRANSLATION_4=der Prager Stock Markt sofort ihren Sturz von Montag Anfang Tuesday der Handel , wenn es um fast 6 % gefallen .
+TRANSLATION_5=dieses Mal den Rückgang der Aktien an der Wall Street sind verantwortlich für die fallen .
+LMLOAD_TIME ~ 0.000
+PTLOAD_TIME ~ 0.000
+PTLOAD_TIME ~ 7.000
+PTLOAD_TIME ~ 7.000
+SCORE_1 = -9.294
+SCORE_2 = -9.256
+SCORE_3 = -112.621
+SCORE_4 = -116.639
+SCORE_5 = -6.029
+TOTAL_WALLTIME ~ 23
diff --git a/regression-testing/tests/chart.target-syntax/moses.ini b/regression-testing/tests/chart.target-syntax/moses.ini
index 39cfd2c54..81f4e3961 100644
--- a/regression-testing/tests/chart.target-syntax/moses.ini
+++ b/regression-testing/tests/chart.target-syntax/moses.ini
@@ -20,7 +20,7 @@
 
 # language models: type(srilm/irstlm), factors, order, file
 [lmodel-file]
-1 0 5 ${LM_PATH}/news.de.binlm
+8 0 5 ${LM_PATH}/news.de.arpalm.gz
 
 
 # limit on how many phrase translations e for each phrase f are loaded
diff --git a/regression-testing/tests/chart.target-syntax/truth/results.txt b/regression-testing/tests/chart.target-syntax/truth/results.txt
index e58ab85cf..ac9629ca9 100644
--- a/regression-testing/tests/chart.target-syntax/truth/results.txt
+++ b/regression-testing/tests/chart.target-syntax/truth/results.txt
@@ -1,15 +1,15 @@
-TRANSLATION_1=Prag an Market fällt zu ohne am Ende des Handel Tag
-TRANSLATION_2=nach einem steilen Rückgang der Morgen , die Prag Stock Market korrigiert ihre Verluste .
-TRANSLATION_3=Geschäfte mit Aktien aus der tschechischen Energy Enterprise ( ČEZ ) erreicht beinahe die Hälfte der regelmäßigen Tageszeitung Handel .
-TRANSLATION_4=bei der Prag Stock Market sofort ihren fallen aus Montag Anfang Tuesday Handel , wenn es um beinahe sechs Prozent .
-TRANSLATION_5=an der Zeit in diesem Herbst in Aktien an der Wall Street dafür verantwortlich ist , die Einbruch .
+TRANSLATION_1=Prag Stock Markt fällt , ohne Ende der Handel mit jedem Tag
+TRANSLATION_2=nach einem steilen Rückgang der Morgen , dem Prager Stock Markt ihre Verluste korrigiert .
+TRANSLATION_3=Geschäfte mit Aktien von der tschechischen Energy Enterprise ( ČEZ ) erreicht beinahe die Hälfte der regelmäßigen täglich Handel .
+TRANSLATION_4=der Prager Stock Markt sofort ihren Sturz von Montag Anfang Tuesday der Handel , wenn es um fast 6 % gefallen .
+TRANSLATION_5=dieses Mal den Rückgang der Aktien an der Wall Street sind verantwortlich für die fallen .
 LMLOAD_TIME ~ 0.000
 PTLOAD_TIME ~ 0.000
 PTLOAD_TIME ~ 7.000
 PTLOAD_TIME ~ 7.000
-SCORE_1 = -9.173
-SCORE_2 = -9.857
-SCORE_3 = -113.066
-SCORE_4 = -117.959
-SCORE_5 = -7.223
+SCORE_1 = -9.294
+SCORE_2 = -9.256
+SCORE_3 = -112.621
+SCORE_4 = -116.639
+SCORE_5 = -6.029
 TOTAL_WALLTIME ~ 23