Tests for mml-score.py

19 files changed, 242 insertions, 0 deletions

diff --git a/tests/misc.mml-basic/config b/tests/misc.mml-basic/config
new file mode 100644
index 0000000..f2bafe7
--- /dev/null
+++ b/tests/misc.mml-basic/config
@@ -0,0 +1,10 @@
+[general]
+source_language = fr
+target_language = en
+strategy = Score
+input_stem = TESTDIR/input
+output_stem = RESULTSDIR/output
+
+[score]
+proportion = 0.5
+score_file = TESTDIR/score
diff --git a/tests/misc.mml-basic/input.en b/tests/misc.mml-basic/input.en
new file mode 100644
index 0000000..b7a629d
--- /dev/null
+++ b/tests/misc.mml-basic/input.en
@@ -0,0 +1,6 @@
+Food: Where European inflation slipped up 
+The skyward zoom in food prices is the dominant force behind the speed up in eurozone inflation. 
+November price hikes were higher than expected in the 13 eurozone countries, with October's 2.6 percent yr/yr inflation rate followed by 3.1 percent in November, the EU's Luxembourg-based statistical office reported. 
+Official forecasts predicted just 3 percent, Bloomberg said. 
+As opposed to the US, UK, and Canadian central banks, the European Central Bank (ECB) did not cut interest rates, arguing that a rate drop combined with rising raw material prices and declining unemployment would trigger an inflationary spiral. 
+The ECB wants to hold inflation to under two percent, or somewhere in that vicinity. 
diff --git a/tests/misc.mml-basic/input.fr b/tests/misc.mml-basic/input.fr
new file mode 100644
index 0000000..c869bdd
--- /dev/null
+++ b/tests/misc.mml-basic/input.fr
@@ -0,0 +1,6 @@
+L'inflation, en Europe, a dérapé sur l'alimentation 
+L'inflation accélérée, mesurée dans la zone euro, est due principalement à l'augmentation rapide des prix de l'alimentation. 
+En novembre, l'augmentation des prix, dans les 13 pays de la zone euro, a été plus importante par rapport aux prévisions, après un taux d'inflation de 2,6 pour cent en octobre, une inflation annuelle de 3,1 pour cent a été enregistrée, a indiqué le bureau des statistiques de la Communauté Européenne situé à Luxembourg. 
+Les prévisions officielles n'ont indiqué que 3 pour cent, a communiqué Bloomberg. 
+Contrairement aux banques centrales américaine, britannique et canadienne, la Banque centrale européenne (BCE) n'a pas baissé le taux d'intérêt directeur en disant que la diminution des intérêts, avec la croissance des prix des matières premières et la baisse du taux de chômage, conduirait à la génération d'une spirale inflationniste. 
+La BCE souhaiterait maintenir le taux d'inflation au-dessous mais proche de deux pour cent. 
diff --git a/tests/misc.mml-basic/run.perl b/tests/misc.mml-basic/run.perl
new file mode 100755
index 0000000..53c7ef6
--- /dev/null
+++ b/tests/misc.mml-basic/run.perl
@@ -0,0 +1,42 @@
+#!/usr/bin/perl -w 
+
+use strict;
+my $script_dir; BEGIN { use Cwd qw/ abs_path /; use File::Basename; $script_dir = dirname(abs_path($0)); push @INC, $script_dir; }
+use MosesRegressionTesting;
+use Getopt::Long;
+use File::Temp qw ( tempfile );
+use POSIX qw ( strftime );
+
+my ($mosesRoot, $mosesBin, $test_name, $data_dir, $test_dir, $results_dir);
+
+GetOptions("moses-root=s" => \$mosesRoot,
+           "moses-bin=s" => \$mosesBin,
+           "test=s"    => \$test_name,
+           "data-dir=s"=> \$data_dir,
+           "test-dir=s"=> \$test_dir,
+           "results-dir=s"=> \$results_dir,
+          ) or exit 1;
+
+
+my $local_config = new File::Temp( UNLINK => 0, SUFFIX => '.config' );
+my $cmd;
+open(CONFIG, "$test_dir/$test_name/config") || die "Failed to open config file";
+open(NEWCONFIG, ">$local_config") || die "Failed to create local config";
+while (<CONFIG>) {
+  s,TESTDIR,$test_dir/$test_name,g;
+  s,RESULTSDIR,$results_dir,g;
+  print NEWCONFIG;
+}
+close NEWCONFIG;
+
+
+$cmd = "$mosesRoot/scripts/ems/support/mml-filter.py  $local_config";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+system("cat $results_dir/output.fr $results_dir/output.en > $results_dir/out");
+
+
+
+
+
+
diff --git a/tests/misc.mml-basic/score b/tests/misc.mml-basic/score
new file mode 100644
index 0000000..05d01c5
--- /dev/null
+++ b/tests/misc.mml-basic/score
@@ -0,0 +1,6 @@
+0.1
+0.2
+0.9
+-0.1
+0.7
+1.6
diff --git a/tests/misc.mml-basic/truth/results.txt b/tests/misc.mml-basic/truth/results.txt
new file mode 100644
index 0000000..60f2d12
--- /dev/null
+++ b/tests/misc.mml-basic/truth/results.txt
@@ -0,0 +1,8 @@
+L'inflation accélérée, mesurée dans la zone euro, est due principalement à l'augmentation rapide des prix de l'alimentation. 
+En novembre, l'augmentation des prix, dans les 13 pays de la zone euro, a été plus importante par rapport aux prévisions, après un taux d'inflation de 2,6 pour cent en octobre, une inflation annuelle de 3,1 pour cent a été enregistrée, a indiqué le bureau des statistiques de la Communauté Européenne situé à Luxembourg. 
+Contrairement aux banques centrales américaine, britannique et canadienne, la Banque centrale européenne (BCE) n'a pas baissé le taux d'intérêt directeur en disant que la diminution des intérêts, avec la croissance des prix des matières premières et la baisse du taux de chômage, conduirait à la génération d'une spirale inflationniste. 
+La BCE souhaiterait maintenir le taux d'inflation au-dessous mais proche de deux pour cent. 
+The skyward zoom in food prices is the dominant force behind the speed up in eurozone inflation. 
+November price hikes were higher than expected in the 13 eurozone countries, with October's 2.6 percent yr/yr inflation rate followed by 3.1 percent in November, the EU's Luxembourg-based statistical office reported. 
+As opposed to the US, UK, and Canadian central banks, the European Central Bank (ECB) did not cut interest rates, arguing that a rate drop combined with rising raw material prices and declining unemployment would trigger an inflationary spiral. 
+The ECB wants to hold inflation to under two percent, or somewhere in that vicinity. 
diff --git a/tests/misc.mml-domain/config b/tests/misc.mml-domain/config
new file mode 100644
index 0000000..c979aa4
--- /dev/null
+++ b/tests/misc.mml-domain/config
@@ -0,0 +1,12 @@
+[general]
+source_language = fr
+target_language = en
+strategy = Score
+input_stem = TESTDIR/input
+output_stem = RESULTSDIR/output
+domain_file = TESTDIR/domain
+domain_file_out = RESULTSDIR/domain
+
+[score]
+proportion = 0.5
+score_file = TESTDIR/score
diff --git a/tests/misc.mml-domain/domain b/tests/misc.mml-domain/domain
new file mode 100644
index 0000000..699ee7e
--- /dev/null
+++ b/tests/misc.mml-domain/domain
@@ -0,0 +1,2 @@
+2 A
+6 B
diff --git a/tests/misc.mml-domain/input.en b/tests/misc.mml-domain/input.en
new file mode 100644
index 0000000..b7a629d
--- /dev/null
+++ b/tests/misc.mml-domain/input.en
@@ -0,0 +1,6 @@
+Food: Where European inflation slipped up 
+The skyward zoom in food prices is the dominant force behind the speed up in eurozone inflation. 
+November price hikes were higher than expected in the 13 eurozone countries, with October's 2.6 percent yr/yr inflation rate followed by 3.1 percent in November, the EU's Luxembourg-based statistical office reported. 
+Official forecasts predicted just 3 percent, Bloomberg said. 
+As opposed to the US, UK, and Canadian central banks, the European Central Bank (ECB) did not cut interest rates, arguing that a rate drop combined with rising raw material prices and declining unemployment would trigger an inflationary spiral. 
+The ECB wants to hold inflation to under two percent, or somewhere in that vicinity. 
diff --git a/tests/misc.mml-domain/input.fr b/tests/misc.mml-domain/input.fr
new file mode 100644
index 0000000..c869bdd
--- /dev/null
+++ b/tests/misc.mml-domain/input.fr
@@ -0,0 +1,6 @@
+L'inflation, en Europe, a dérapé sur l'alimentation 
+L'inflation accélérée, mesurée dans la zone euro, est due principalement à l'augmentation rapide des prix de l'alimentation. 
+En novembre, l'augmentation des prix, dans les 13 pays de la zone euro, a été plus importante par rapport aux prévisions, après un taux d'inflation de 2,6 pour cent en octobre, une inflation annuelle de 3,1 pour cent a été enregistrée, a indiqué le bureau des statistiques de la Communauté Européenne situé à Luxembourg. 
+Les prévisions officielles n'ont indiqué que 3 pour cent, a communiqué Bloomberg. 
+Contrairement aux banques centrales américaine, britannique et canadienne, la Banque centrale européenne (BCE) n'a pas baissé le taux d'intérêt directeur en disant que la diminution des intérêts, avec la croissance des prix des matières premières et la baisse du taux de chômage, conduirait à la génération d'une spirale inflationniste. 
+La BCE souhaiterait maintenir le taux d'inflation au-dessous mais proche de deux pour cent. 
diff --git a/tests/misc.mml-domain/run.perl b/tests/misc.mml-domain/run.perl
new file mode 100755
index 0000000..6d66142
--- /dev/null
+++ b/tests/misc.mml-domain/run.perl
@@ -0,0 +1,42 @@
+#!/usr/bin/perl -w 
+
+use strict;
+my $script_dir; BEGIN { use Cwd qw/ abs_path /; use File::Basename; $script_dir = dirname(abs_path($0)); push @INC, $script_dir; }
+use MosesRegressionTesting;
+use Getopt::Long;
+use File::Temp qw ( tempfile );
+use POSIX qw ( strftime );
+
+my ($mosesRoot, $mosesBin, $test_name, $data_dir, $test_dir, $results_dir);
+
+GetOptions("moses-root=s" => \$mosesRoot,
+           "moses-bin=s" => \$mosesBin,
+           "test=s"    => \$test_name,
+           "data-dir=s"=> \$data_dir,
+           "test-dir=s"=> \$test_dir,
+           "results-dir=s"=> \$results_dir,
+          ) or exit 1;
+
+
+my $local_config = new File::Temp( UNLINK => 0, SUFFIX => '.config' );
+my $cmd;
+open(CONFIG, "$test_dir/$test_name/config") || die "Failed to open config file";
+open(NEWCONFIG, ">$local_config") || die "Failed to create local config";
+while (<CONFIG>) {
+  s,TESTDIR,$test_dir/$test_name,g;
+  s,RESULTSDIR,$results_dir,g;
+  print NEWCONFIG;
+}
+close NEWCONFIG;
+
+
+$cmd = "$mosesRoot/scripts/ems/support/mml-filter.py  $local_config";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+system("cat $results_dir/output.fr $results_dir/output.en $results_dir/domain > $results_dir/out");
+
+
+
+
+
+
diff --git a/tests/misc.mml-domain/score b/tests/misc.mml-domain/score
new file mode 100644
index 0000000..05d01c5
--- /dev/null
+++ b/tests/misc.mml-domain/score
@@ -0,0 +1,6 @@
+0.1
+0.2
+0.9
+-0.1
+0.7
+1.6
diff --git a/tests/misc.mml-domain/truth/results.txt b/tests/misc.mml-domain/truth/results.txt
new file mode 100644
index 0000000..c6cbb98
--- /dev/null
+++ b/tests/misc.mml-domain/truth/results.txt
@@ -0,0 +1,10 @@
+L'inflation accélérée, mesurée dans la zone euro, est due principalement à l'augmentation rapide des prix de l'alimentation. 
+En novembre, l'augmentation des prix, dans les 13 pays de la zone euro, a été plus importante par rapport aux prévisions, après un taux d'inflation de 2,6 pour cent en octobre, une inflation annuelle de 3,1 pour cent a été enregistrée, a indiqué le bureau des statistiques de la Communauté Européenne situé à Luxembourg. 
+Contrairement aux banques centrales américaine, britannique et canadienne, la Banque centrale européenne (BCE) n'a pas baissé le taux d'intérêt directeur en disant que la diminution des intérêts, avec la croissance des prix des matières premières et la baisse du taux de chômage, conduirait à la génération d'une spirale inflationniste. 
+La BCE souhaiterait maintenir le taux d'inflation au-dessous mais proche de deux pour cent. 
+The skyward zoom in food prices is the dominant force behind the speed up in eurozone inflation. 
+November price hikes were higher than expected in the 13 eurozone countries, with October's 2.6 percent yr/yr inflation rate followed by 3.1 percent in November, the EU's Luxembourg-based statistical office reported. 
+As opposed to the US, UK, and Canadian central banks, the European Central Bank (ECB) did not cut interest rates, arguing that a rate drop combined with rising raw material prices and declining unemployment would trigger an inflationary spiral. 
+The ECB wants to hold inflation to under two percent, or somewhere in that vicinity. 
+1 A
+4 B
diff --git a/tests/misc.mml-ignore-lines/config b/tests/misc.mml-ignore-lines/config
new file mode 100644
index 0000000..f2bafe7
--- /dev/null
+++ b/tests/misc.mml-ignore-lines/config
@@ -0,0 +1,10 @@
+[general]
+source_language = fr
+target_language = en
+strategy = Score
+input_stem = TESTDIR/input
+output_stem = RESULTSDIR/output
+
+[score]
+proportion = 0.5
+score_file = TESTDIR/score
diff --git a/tests/misc.mml-ignore-lines/input.en b/tests/misc.mml-ignore-lines/input.en
new file mode 100644
index 0000000..b7a629d
--- /dev/null
+++ b/tests/misc.mml-ignore-lines/input.en
@@ -0,0 +1,6 @@
+Food: Where European inflation slipped up 
+The skyward zoom in food prices is the dominant force behind the speed up in eurozone inflation. 
+November price hikes were higher than expected in the 13 eurozone countries, with October's 2.6 percent yr/yr inflation rate followed by 3.1 percent in November, the EU's Luxembourg-based statistical office reported. 
+Official forecasts predicted just 3 percent, Bloomberg said. 
+As opposed to the US, UK, and Canadian central banks, the European Central Bank (ECB) did not cut interest rates, arguing that a rate drop combined with rising raw material prices and declining unemployment would trigger an inflationary spiral. 
+The ECB wants to hold inflation to under two percent, or somewhere in that vicinity. 
diff --git a/tests/misc.mml-ignore-lines/input.fr b/tests/misc.mml-ignore-lines/input.fr
new file mode 100644
index 0000000..c869bdd
--- /dev/null
+++ b/tests/misc.mml-ignore-lines/input.fr
@@ -0,0 +1,6 @@
+L'inflation, en Europe, a dérapé sur l'alimentation 
+L'inflation accélérée, mesurée dans la zone euro, est due principalement à l'augmentation rapide des prix de l'alimentation. 
+En novembre, l'augmentation des prix, dans les 13 pays de la zone euro, a été plus importante par rapport aux prévisions, après un taux d'inflation de 2,6 pour cent en octobre, une inflation annuelle de 3,1 pour cent a été enregistrée, a indiqué le bureau des statistiques de la Communauté Européenne situé à Luxembourg. 
+Les prévisions officielles n'ont indiqué que 3 pour cent, a communiqué Bloomberg. 
+Contrairement aux banques centrales américaine, britannique et canadienne, la Banque centrale européenne (BCE) n'a pas baissé le taux d'intérêt directeur en disant que la diminution des intérêts, avec la croissance des prix des matières premières et la baisse du taux de chômage, conduirait à la génération d'une spirale inflationniste. 
+La BCE souhaiterait maintenir le taux d'inflation au-dessous mais proche de deux pour cent. 
diff --git a/tests/misc.mml-ignore-lines/run.perl b/tests/misc.mml-ignore-lines/run.perl
new file mode 100755
index 0000000..53c7ef6
--- /dev/null
+++ b/tests/misc.mml-ignore-lines/run.perl
@@ -0,0 +1,42 @@
+#!/usr/bin/perl -w 
+
+use strict;
+my $script_dir; BEGIN { use Cwd qw/ abs_path /; use File::Basename; $script_dir = dirname(abs_path($0)); push @INC, $script_dir; }
+use MosesRegressionTesting;
+use Getopt::Long;
+use File::Temp qw ( tempfile );
+use POSIX qw ( strftime );
+
+my ($mosesRoot, $mosesBin, $test_name, $data_dir, $test_dir, $results_dir);
+
+GetOptions("moses-root=s" => \$mosesRoot,
+           "moses-bin=s" => \$mosesBin,
+           "test=s"    => \$test_name,
+           "data-dir=s"=> \$data_dir,
+           "test-dir=s"=> \$test_dir,
+           "results-dir=s"=> \$results_dir,
+          ) or exit 1;
+
+
+my $local_config = new File::Temp( UNLINK => 0, SUFFIX => '.config' );
+my $cmd;
+open(CONFIG, "$test_dir/$test_name/config") || die "Failed to open config file";
+open(NEWCONFIG, ">$local_config") || die "Failed to create local config";
+while (<CONFIG>) {
+  s,TESTDIR,$test_dir/$test_name,g;
+  s,RESULTSDIR,$results_dir,g;
+  print NEWCONFIG;
+}
+close NEWCONFIG;
+
+
+$cmd = "$mosesRoot/scripts/ems/support/mml-filter.py  $local_config";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+system("cat $results_dir/output.fr $results_dir/output.en > $results_dir/out");
+
+
+
+
+
+
diff --git a/tests/misc.mml-ignore-lines/score b/tests/misc.mml-ignore-lines/score
new file mode 100644
index 0000000..f86feb1
--- /dev/null
+++ b/tests/misc.mml-ignore-lines/score
@@ -0,0 +1,6 @@
+99999
+0.2
+0.9
+-0.1
+0.7
+99999
diff --git a/tests/misc.mml-ignore-lines/truth/results.txt b/tests/misc.mml-ignore-lines/truth/results.txt
new file mode 100644
index 0000000..5b11173
--- /dev/null
+++ b/tests/misc.mml-ignore-lines/truth/results.txt
@@ -0,0 +1,10 @@
+L'inflation, en Europe, a dérapé sur l'alimentation 
+L'inflation accélérée, mesurée dans la zone euro, est due principalement à l'augmentation rapide des prix de l'alimentation. 
+En novembre, l'augmentation des prix, dans les 13 pays de la zone euro, a été plus importante par rapport aux prévisions, après un taux d'inflation de 2,6 pour cent en octobre, une inflation annuelle de 3,1 pour cent a été enregistrée, a indiqué le bureau des statistiques de la Communauté Européenne situé à Luxembourg. 
+Contrairement aux banques centrales américaine, britannique et canadienne, la Banque centrale européenne (BCE) n'a pas baissé le taux d'intérêt directeur en disant que la diminution des intérêts, avec la croissance des prix des matières premières et la baisse du taux de chômage, conduirait à la génération d'une spirale inflationniste. 
+La BCE souhaiterait maintenir le taux d'inflation au-dessous mais proche de deux pour cent. 
+Food: Where European inflation slipped up 
+The skyward zoom in food prices is the dominant force behind the speed up in eurozone inflation. 
+November price hikes were higher than expected in the 13 eurozone countries, with October's 2.6 percent yr/yr inflation rate followed by 3.1 percent in November, the EU's Luxembourg-based statistical office reported. 
+As opposed to the US, UK, and Canadian central banks, the European Central Bank (ECB) did not cut interest rates, arguing that a rate drop combined with rising raw material prices and declining unemployment would trigger an inflationary spiral. 
+The ECB wants to hold inflation to under two percent, or somewhere in that vicinity.