test for tokenizer.perl

8 files changed, 167 insertions, 0 deletions

diff --git a/tests/misc.tokenizer/cs.txt b/tests/misc.tokenizer/cs.txt
new file mode 100644
index 0000000..57c6c8b
--- /dev/null
+++ b/tests/misc.tokenizer/cs.txt
@@ -0,0 +1,10 @@
+Strategie republikánské strany proti Obamovu znovuzvolení
+Republikánští lídři odůvodnili svou politiku nezbytností boje proti volebním podvodům.
+Brennanovo středisko však takový podvod označuje za mýtus s tím, že volební podvod je v USA méně častý než počet osob, které zemřou po zásahu bleskem.
+Republikánští advokáti ostatně za posledních deset let zaznamenali pouze 300 případů volebních podvodů v USA.
+Jedno je jisté: tato nová ustanovení budou mít negativní dopad na volební účast.
+V tomto smyslu tato opatření částečně podkopou americký demokratický systém.
+Na rozdíl od Kanady mají v USA odpovědnost za organizaci federálních voleb jednotlivé státy.
+A v tomto duchu většina amerických vlád od roku 2009 vyhlašuje nové zákony, které ztěžují proces volby nebo zápisu do volebního seznamu.
+Tento jev zaznamenal rozmach po volbách v listopadu 2010, během nichž přibylo 675 nových republikánských zástupců ve 26 státech.
+Následkem toho bylo jen za rok 2011 předloženo 180 návrhů zákona omezujících volební právo ve 41 státech.
diff --git a/tests/misc.tokenizer/de.txt b/tests/misc.tokenizer/de.txt
new file mode 100644
index 0000000..9374269
--- /dev/null
+++ b/tests/misc.tokenizer/de.txt
@@ -0,0 +1,10 @@
+Eine republikanische Strategie, um der Wiederwahl von Obama entgegenzutreten
+Die Führungskräfte der Republikaner rechtfertigen ihre Politik mit der Notwendigkeit, den Wahlbetrug zu bekämpfen.
+Allerdings hält das Brennan Center letzteres für einen Mythos, indem es bekräftigt, dass der Wahlbetrug in den USA seltener ist als die Anzahl der vom Blitzschlag getöteten Menschen.
+Die Rechtsanwälte der Republikaner haben in 10 Jahren in den USA übrigens nur 300 Fälle von Wahlbetrug verzeichnet.
+Eins ist sicher: diese neuen Bestimmungen werden sich negativ auf die Wahlbeteiligung auswirken.
+In diesem Sinne untergraben diese Maßnahmen teilweise das demokratische System der USA.
+Im Gegensatz zu Kanada sind die US-Bundesstaaten für die Durchführung der Wahlen in den einzelnen Staaten verantwortlich.
+In diesem Sinne hat die Mehrheit der amerikanischen Regierungen seit 2009 neue Gesetze verkündet, die das Verfahren für die Registrierung oder den Urnengang erschweren.
+Dieses Phänomen hat nach den Wahlen vom November 2010 an Bedeutung gewonnen, bei denen 675 neue republikanische Vertreter in 26 Staaten verzeichnet werden konnten.
+Infolgedessen wurden 180 Gesetzesentwürfe allein im Jahr 2011 eingeführt, die die Ausübung des Wahlrechts in 41 Staaten einschränken.
diff --git a/tests/misc.tokenizer/en.txt b/tests/misc.tokenizer/en.txt
new file mode 100644
index 0000000..3b63012
--- /dev/null
+++ b/tests/misc.tokenizer/en.txt
@@ -0,0 +1,10 @@
+A Republican strategy to counter the re-election of Obama
+Republican leaders justified their policy by the need to combat electoral fraud.
+However, the Brennan Centre considers this a myth, stating that electoral fraud is rarer in the United States than the number of people killed by lightning.
+Indeed, Republican lawyers identified only 300 cases of electoral fraud in the United States in a decade.
+One thing is certain: these new provisions will have a negative impact on voter turn-out.
+In this sense, the measures will partially undermine the American democratic system.
+Unlike in Canada, the American States are responsible for the organisation of federal elections in the United States.
+It is in this spirit that a majority of American governments have passed new laws since 2009 making the registration or voting process more difficult.
+This phenomenon gained momentum following the November 2010 elections, which saw 675 new Republican representatives added in 26 States.
+As a result, 180 bills restricting the exercise of the right to vote in 41 States were introduced in 2011 alone.
diff --git a/tests/misc.tokenizer/es.txt b/tests/misc.tokenizer/es.txt
new file mode 100644
index 0000000..bc76957
--- /dev/null
+++ b/tests/misc.tokenizer/es.txt
@@ -0,0 +1,10 @@
+Una estrategia republicana para obstaculizar la reelección de Obama
+Los dirigentes republicanos justificaron su política por la necesidad de luchar contra el fraude electoral.
+Ahora bien, el Centro Brennan considera esto último un mito y afirma que el fraude electoral es menos frecuente en los Estados Unidos que el número de personas que mueren a causa de la caída de un rayo.
+De hecho, los abogados republicanos no han encontrado más que 300 casos de fraude electoral en los Estados Unidos en diez años.
+Una cosa es cierta: esas nuevas disposiciones afectarán negativamente a la tasa de participación.
+En ese sentido, estas medidas minarán en parte el sistema democrático americano.
+Al contrario de lo que ocurre en Canadá, los estados americanos son responsables de la organización de las elecciones federales en los Estados Unidos.
+Y en esa misma línea una mayoría de los gobiernos americanos promulgaron, a partir de 2009, nuevas leyes que dificultaban el proceso de inscripción o de votación.
+Este fenómeno se ha extendido tras las elecciones de noviembre de 2010, que vieron el aumento de 675 nuevos representantes republicanos en 26 estados.
+En consecuencia, durante el año 2011 se introdujeron 180 proyectos de ley que restringían el ejercicio del derecho de voto en 41 estados.
diff --git a/tests/misc.tokenizer/fr.txt b/tests/misc.tokenizer/fr.txt
new file mode 100644
index 0000000..10a6681
--- /dev/null
+++ b/tests/misc.tokenizer/fr.txt
@@ -0,0 +1,10 @@
+Une stratégie républicaine pour contrer la réélection d'Obama
+Les dirigeants républicains justifièrent leur politique par la nécessité de lutter contre la fraude électorale.
+Or, le Centre Brennan considère cette dernière comme un mythe, affirmant que la fraude électorale est plus rare aux États-Unis que le nombre de personnes tuées par la foudre.
+D'ailleurs, les avocats républicains n'ont recensé que 300 cas de fraude électorale aux États-Unis en dix ans.
+Une chose est certaine: ces nouvelles dispositions influenceront négativement le taux de participation.
+En ce sens, ces mesures mineront en partie le système démocratique américain.
+Contrairement au Canada, les États américains sont responsables de l'organisation des élections fédérales aux États-Unis.
+C'est dans cet esprit qu'une majorité de gouvernements américains promulguèrent à partir de 2009 de nouvelles lois rendant plus difficile le processus d'inscription ou de vote.
+Ce phénomène a pris de l'ampleur après les élections de novembre 2010 qui virent s'ajouter 675 nouveaux représentants républicains dans 26 États.
+En conséquence, 180 projets de lois restreignant l'exercice du droit de vote dans 41 États furent introduits durant la seule année de 2011.
diff --git a/tests/misc.tokenizer/ru.txt b/tests/misc.tokenizer/ru.txt
new file mode 100644
index 0000000..5164600
--- /dev/null
+++ b/tests/misc.tokenizer/ru.txt
@@ -0,0 +1,10 @@
+Республиканская стратегия сопротивления повторному избранию Обамы
+Лидеры республиканцев оправдывали свою политику необходимостью борьбы с фальсификациями на выборах.
+Однако в Центре Бреннана считают последнее мифом, утверждая, что случаи фальсификаций на выборах в Соединенных Штатах более редки, чем случаи смерти от удара молнии.
+К тому же юристы республиканцев насчитали только 300 случаев электоральных фальсификаций в Соединенных Штатах за десять лет.
+Одно можно сказать с уверенностью: эти новые тенденции окажут негативное влияние на явку избирателей.
+В этом смысле подобные действия частично дискредитируют систему американской демократии.
+В отличие от Канады американские штаты несут ответственность за организацию федеральных выборов в США.
+Именно поэтому большинство правительств штатов с 2009 года принимают законы, усложняющие процесс регистрации или голосования.
+Это явление получило новый размах после выборов в ноябре 2010 года, которые принесли республиканцам 675 новых мест в 26 штатах.
+В результате только за один 2011 год было принято 180 законопроектов, ограничивающих право голоса в 41 штате.
diff --git a/tests/misc.tokenizer/run.perl b/tests/misc.tokenizer/run.perl
new file mode 100755
index 0000000..f943437
--- /dev/null
+++ b/tests/misc.tokenizer/run.perl
@@ -0,0 +1,47 @@
+#!/usr/bin/env perl
+
+use warnings;
+use strict;
+my $script_dir; BEGIN { use Cwd qw/ abs_path /; use File::Basename; $script_dir = dirname(abs_path($0)); push @INC, $script_dir; }
+use MosesRegressionTesting;
+use Getopt::Long;
+use File::Temp qw ( tempfile );
+use POSIX qw ( strftime );
+
+my ($mosesRoot, $mosesBin, $test_name, $data_dir, $test_dir, $results_dir);
+
+GetOptions("moses-root=s" => \$mosesRoot,
+           "moses-bin=s" => \$mosesBin,
+           "test=s"    => \$test_name,
+           "data-dir=s"=> \$data_dir,
+           "test-dir=s"=> \$test_dir,
+           "results-dir=s"=> \$results_dir,
+          ) or exit 1;
+
+my $cmd;
+
+$cmd = "$mosesRoot/scripts/tokenizer/tokenizer.perl -l cs < $test_dir/$test_name/cs.txt >> $results_dir/out";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+
+$cmd = "$mosesRoot/scripts/tokenizer/tokenizer.perl -l de < $test_dir/$test_name/de.txt >> $results_dir/out";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+
+$cmd = "$mosesRoot/scripts/tokenizer/tokenizer.perl -l en < $test_dir/$test_name/en.txt >> $results_dir/out";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+
+$cmd = "$mosesRoot/scripts/tokenizer/tokenizer.perl -l es < $test_dir/$test_name/es.txt >> $results_dir/out";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+
+$cmd = "$mosesRoot/scripts/tokenizer/tokenizer.perl -l fr < $test_dir/$test_name/fr.txt >> $results_dir/out";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+
+$cmd = "$mosesRoot/scripts/tokenizer/tokenizer.perl -l ru < $test_dir/$test_name/ru.txt >> $results_dir/out";
+print STDERR "Executing: $cmd\n";
+`$cmd`;
+
+
diff --git a/tests/misc.tokenizer/truth/results.txt b/tests/misc.tokenizer/truth/results.txt
new file mode 100644
index 0000000..57975d0
--- /dev/null
+++ b/tests/misc.tokenizer/truth/results.txt
@@ -0,0 +1,60 @@
+Strategie republikánské strany proti Obamovu znovuzvolení
+Republikánští lídři odůvodnili svou politiku nezbytností boje proti volebním podvodům .
+Brennanovo středisko však takový podvod označuje za mýtus s tím , že volební podvod je v USA méně častý než počet osob , které zemřou po zásahu bleskem .
+Republikánští advokáti ostatně za posledních deset let zaznamenali pouze 300 případů volebních podvodů v USA .
+Jedno je jisté : tato nová ustanovení budou mít negativní dopad na volební účast .
+V tomto smyslu tato opatření částečně podkopou americký demokratický systém .
+Na rozdíl od Kanady mají v USA odpovědnost za organizaci federálních voleb jednotlivé státy .
+A v tomto duchu většina amerických vlád od roku 2009 vyhlašuje nové zákony , které ztěžují proces volby nebo zápisu do volebního seznamu .
+Tento jev zaznamenal rozmach po volbách v listopadu 2010 , během nichž přibylo 675 nových republikánských zástupců ve 26 státech .
+Následkem toho bylo jen za rok 2011 předloženo 180 návrhů zákona omezujících volební právo ve 41 státech .
+Eine republikanische Strategie , um der Wiederwahl von Obama entgegenzutreten
+Die Führungskräfte der Republikaner rechtfertigen ihre Politik mit der Notwendigkeit , den Wahlbetrug zu bekämpfen .
+Allerdings hält das Brennan Center letzteres für einen Mythos , indem es bekräftigt , dass der Wahlbetrug in den USA seltener ist als die Anzahl der vom Blitzschlag getöteten Menschen .
+Die Rechtsanwälte der Republikaner haben in 10 Jahren in den USA übrigens nur 300 Fälle von Wahlbetrug verzeichnet .
+Eins ist sicher : diese neuen Bestimmungen werden sich negativ auf die Wahlbeteiligung auswirken .
+In diesem Sinne untergraben diese Maßnahmen teilweise das demokratische System der USA .
+Im Gegensatz zu Kanada sind die US-Bundesstaaten für die Durchführung der Wahlen in den einzelnen Staaten verantwortlich .
+In diesem Sinne hat die Mehrheit der amerikanischen Regierungen seit 2009 neue Gesetze verkündet , die das Verfahren für die Registrierung oder den Urnengang erschweren .
+Dieses Phänomen hat nach den Wahlen vom November 2010 an Bedeutung gewonnen , bei denen 675 neue republikanische Vertreter in 26 Staaten verzeichnet werden konnten .
+Infolgedessen wurden 180 Gesetzesentwürfe allein im Jahr 2011 eingeführt , die die Ausübung des Wahlrechts in 41 Staaten einschränken .
+A Republican strategy to counter the re-election of Obama
+Republican leaders justified their policy by the need to combat electoral fraud .
+However , the Brennan Centre considers this a myth , stating that electoral fraud is rarer in the United States than the number of people killed by lightning .
+Indeed , Republican lawyers identified only 300 cases of electoral fraud in the United States in a decade .
+One thing is certain : these new provisions will have a negative impact on voter turn-out .
+In this sense , the measures will partially undermine the American democratic system .
+Unlike in Canada , the American States are responsible for the organisation of federal elections in the United States .
+It is in this spirit that a majority of American governments have passed new laws since 2009 making the registration or voting process more difficult .
+This phenomenon gained momentum following the November 2010 elections , which saw 675 new Republican representatives added in 26 States .
+As a result , 180 bills restricting the exercise of the right to vote in 41 States were introduced in 2011 alone .
+Una estrategia republicana para obstaculizar la reelección de Obama
+Los dirigentes republicanos justificaron su política por la necesidad de luchar contra el fraude electoral .
+Ahora bien , el Centro Brennan considera esto último un mito y afirma que el fraude electoral es menos frecuente en los Estados Unidos que el número de personas que mueren a causa de la caída de un rayo .
+De hecho , los abogados republicanos no han encontrado más que 300 casos de fraude electoral en los Estados Unidos en diez años .
+Una cosa es cierta : esas nuevas disposiciones afectarán negativamente a la tasa de participación .
+En ese sentido , estas medidas minarán en parte el sistema democrático americano .
+Al contrario de lo que ocurre en Canadá , los estados americanos son responsables de la organización de las elecciones federales en los Estados Unidos .
+Y en esa misma línea una mayoría de los gobiernos americanos promulgaron , a partir de 2009 , nuevas leyes que dificultaban el proceso de inscripción o de votación .
+Este fenómeno se ha extendido tras las elecciones de noviembre de 2010 , que vieron el aumento de 675 nuevos representantes republicanos en 26 estados .
+En consecuencia , durante el año 2011 se introdujeron 180 proyectos de ley que restringían el ejercicio del derecho de voto en 41 estados .
+Une stratégie républicaine pour contrer la réélection d&apos; Obama
+Les dirigeants républicains justifièrent leur politique par la nécessité de lutter contre la fraude électorale .
+Or , le Centre Brennan considère cette dernière comme un mythe , affirmant que la fraude électorale est plus rare aux États-Unis que le nombre de personnes tuées par la foudre .
+D&apos; ailleurs , les avocats républicains n&apos; ont recensé que 300 cas de fraude électorale aux États-Unis en dix ans .
+Une chose est certaine : ces nouvelles dispositions influenceront négativement le taux de participation .
+En ce sens , ces mesures mineront en partie le système démocratique américain .
+Contrairement au Canada , les États américains sont responsables de l&apos; organisation des élections fédérales aux États-Unis .
+C&apos; est dans cet esprit qu&apos; une majorité de gouvernements américains promulguèrent à partir de 2009 de nouvelles lois rendant plus difficile le processus d&apos; inscription ou de vote .
+Ce phénomène a pris de l&apos; ampleur après les élections de novembre 2010 qui virent s&apos; ajouter 675 nouveaux représentants républicains dans 26 États .
+En conséquence , 180 projets de lois restreignant l&apos; exercice du droit de vote dans 41 États furent introduits durant la seule année de 2011 .
+Республиканская стратегия сопротивления повторному избранию Обамы
+Лидеры республиканцев оправдывали свою политику необходимостью борьбы с фальсификациями на выборах .
+Однако в Центре Бреннана считают последнее мифом , утверждая , что случаи фальсификаций на выборах в Соединенных Штатах более редки , чем случаи смерти от удара молнии .
+К тому же юристы республиканцев насчитали только 300 случаев электоральных фальсификаций в Соединенных Штатах за десять лет .
+Одно можно сказать с уверенностью : эти новые тенденции окажут негативное влияние на явку избирателей .
+В этом смысле подобные действия частично дискредитируют систему американской демократии .
+В отличие от Канады американские штаты несут ответственность за организацию федеральных выборов в США .
+Именно поэтому большинство правительств штатов с 2009 года принимают законы , усложняющие процесс регистрации или голосования .
+Это явление получило новый размах после выборов в ноябре 2010 года , которые принесли республиканцам 675 новых мест в 26 штатах .
+В результате только за один 2011 год было принято 180 законопроектов , ограничивающих право голоса в 41 штате .