From 5c153af05420d775bd0ab9732ca750605dba98a6 Mon Sep 17 00:00:00 2001 From: Roman Grundkiewicz Date: Sun, 17 Jun 2018 20:53:19 +0100 Subject: Add tests for generating alignments --- tests/decoder/align/align.b1.expected | 30 ++++++++++++++++++++++++ tests/decoder/align/align.batched.expected | 30 ++++++++++++++++++++++++ tests/decoder/align/align.expected | 30 ++++++++++++++++++++++++ tests/decoder/align/run_amun_align.sh | 15 ++++++++++++ tests/decoder/align/test_align.sh | 11 +++++++++ tests/decoder/align/test_align_beam_1.sh | 11 +++++++++ tests/decoder/align/test_align_beam_1_batched.sh | 11 +++++++++ tests/decoder/align/text.in | 30 ++++++++++++++++++++++++ 8 files changed, 168 insertions(+) create mode 100644 tests/decoder/align/align.b1.expected create mode 100644 tests/decoder/align/align.batched.expected create mode 100644 tests/decoder/align/align.expected create mode 100644 tests/decoder/align/run_amun_align.sh create mode 100644 tests/decoder/align/test_align.sh create mode 100644 tests/decoder/align/test_align_beam_1.sh create mode 100644 tests/decoder/align/test_align_beam_1_batched.sh create mode 100644 tests/decoder/align/text.in (limited to 'tests/decoder/align') diff --git a/tests/decoder/align/align.b1.expected b/tests/decoder/align/align.b1.expected new file mode 100644 index 0000000..e368ebe --- /dev/null +++ b/tests/decoder/align/align.b1.expected @@ -0,0 +1,30 @@ +Indien und Japan Ministerpräsidenten treffen sich in Tokio ||| 0-0 1-1 2-2 3-3 4-5 5-6 6-6 7-7 +auf der Tagesordnung stehen die Pläne für eine stärkere Zusammenarbeit im Nuklear@@ bereich . ||| 0-0 1-2 2-3 3-0 4-0 5-5 6-6 7-7 8-7 9-8 10-8 11-8 12-11 13-11 +Indien ist angeblich auch auf eine Einigung zur Verteidigungs@@ kooperation der beiden Nationen gehofft . ||| 0-0 1-1 2-3 3-4 4-4 5-6 6-7 7-8 8-9 9-10 10-11 11-13 12-14 13-4 14-16 +Kar@@ ra@@ tha Polizei nimmt 20-@@ Jährige nach Hochgeschwindigkeits@@ motor@@ en@@ jagd fest ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-8 9-10 10-11 11-11 12-4 +die Polizei von Kar@@ ra@@ tha hat einen 20-@@ jährigen Mann beauftragt , der es miss@@ achtete und leicht@@ sinn@@ ig@@ erweise fahr@@ bereit zu sein . ||| 0-0 1-3 2-0 3-0 4-1 5-2 6-4 7-6 8-7 9-8 10-9 11-5 12-10 13-10 14-11 15-11 16-18 17-14 18-15 19-18 20-18 21-18 22-16 23-18 24-18 25-18 26-18 +er soll am 23. September in Kar@@ ra@@ tha Magistr@@ ats@@ -@@ Richter erscheinen . ||| 0-0 1-2 2-5 3-14 4-13 5-5 6-6 7-7 8-8 9-9 10-10 11-11 12-9 13-4 14-16 +das Motorrad wurde für drei Monate beschlagnahmt und im@@ matri@@ k@@ uliert . ||| 0-0 1-1 2-2 3-8 4-9 5-10 6-3 7-4 8-5 9-6 10-12 11-12 12-12 +George Web@@ ster warf N@@ air@@ n und Pit@@ loch@@ ry Hotel@@ rap@@ schen vor ||| 0-0 1-1 2-2 3-3 4-5 5-6 6-7 7-8 8-9 9-10 10-11 11-12 12-13 13-14 14-3 +ein Mann soll sich vor Gericht stellen , der Frauen in zwei Hotels vergewaltigt hat . ||| 0-0 1-1 2-3 3-5 4-5 5-8 6-4 7-6 8-6 9-10 10-11 11-12 12-13 13-8 14-15 15-15 +George Web@@ ster , 28 , stellte sich bei einer Anhörung vor dem Ober@@ landes@@ gericht in Glasgow die Gebühren . ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-7 9-10 10-11 11-12 12-13 13-14 14-15 15-19 16-17 17-17 18-7 19-8 20-6 +Rich@@ terin Lady Ra@@ e hat einen Prozes@@ stag für den 17. November auf dem Ober@@ landes@@ gericht Edinburgh festgelegt . ||| 0-0 1-0 2-1 3-2 4-3 5-4 6-5 7-6 8-7 9-8 10-9 11-10 12-9 13-11 14-12 15-13 16-14 17-18 18-16 19-4 20-18 +die Wiedervereinigung mit dem Very American Ideal , dass die Rechte der Arbeitnehmer , ||| 0-0 1-0 2-2 3-4 4-4 5-5 6-6 7-7 8-7 9-8 10-8 11-8 12-8 13-10 +aber es ist sicher keine radikale Initiative - zumindest durch amerikanische Standards . ||| 0-0 1-1 2-2 3-2 4-4 5-6 6-7 7-8 8-9 9-11 10-12 11-13 12-15 +die Amerikaner akzeptierten seit Generationen die Grund@@ bedingung , dass Arbeits@@ rechte Menschenrechte sind . ||| 0-0 1-3 2-4 3-0 4-1 5-5 6-6 7-7 8-15 9-9 10-9 11-10 12-12 13-11 14-15 +wie der Rever@@ end Martin Luther King Jr. vor fünfzig Jahren sagte : ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-9 9-9 10-10 11-8 12-12 +die Geschichte ist ein großer Lehrer . ||| 0-0 1-0 2-1 3-2 4-3 5-4 6-5 +nun weiß jeder , dass die Arbeiter@@ bewegung die Stärke der Nation nicht schm@@ älert , sondern vergrößert hat . ||| 0-0 1-2 2-1 3-2 4-19 5-4 6-5 7-6 8-10 9-11 10-12 11-14 12-9 13-9 14-9 15-15 16-15 17-16 18-15 19-19 +wer die Arbeit angreift , vergisst diese einfachen Wahrheiten , aber die Geschichte erinnert sie sich . ||| 0-0 1-3 2-3 3-2 4-14 5-4 6-5 7-6 8-7 9-8 10-9 11-10 12-10 13-11 14-12 15-11 16-11 +die Geschichte erinnert sich , wie sollten wir es . ||| 0-0 1-0 2-1 3-1 4-1 5-3 6-4 7-5 8-7 9-7 +Richter blockiert vorübergehend das Gesetz , das alle Louisiana Ab@@ t@@ reibungs@@ klin@@ iken schließen könnte ||| 0-0 1-2 2-1 3-2 4-3 5-11 6-4 7-7 8-8 9-9 10-9 11-9 12-10 13-10 14-6 15-5 +eine Anhörung soll innerhalb eines Monats für den Richter angesetzt werden , um eine dauer@@ haf@@ tere Regelung über das Gesetz zu fällen . ||| 0-0 1-1 2-2 3-5 4-6 5-7 6-8 7-9 8-10 9-4 10-11 11-11 12-11 13-13 14-15 15-21 16-21 17-16 18-17 19-18 20-19 21-12 22-12 23-21 +Small STU@@ DY : neue Medikamente können bremsen , Eier@@ stock@@ krebs ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-8 9-10 10-12 11-13 +die Forscher verfolgten die Frauen@@ arz@@ t@@ -Rei@@ se über sieben Jahre hinweg . ||| 0-0 1-1 2-2 3-3 4-4 5-6 6-7 7-7 8-7 9-8 10-9 11-10 12-2 13-11 +ältere Frauen und jene , deren Krebs zum Zeitpunkt der Diagnose fortgeschritt@@ ener war , hatten die ärmsten Überleben@@ schancen . ||| 0-0 1-1 2-2 3-3 4-4 5-4 6-5 7-9 8-11 9-12 10-13 11-7 12-20 13-20 14-20 15-14 16-15 17-16 18-17 19-18 20-20 +Garten@@ center rue fällt in Eigen@@ heim@@ besitzern . ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-5 7-6 8-8 +der TV-S@@ ender stopp@@ te etwa 40 Minuten , hat aber inzwischen wieder eine Übertragung . ||| 0-0 1-1 2-2 3-3 4-18 5-4 6-7 7-8 8-4 9-10 10-12 11-12 12-13 13-13 14-15 15-18 +etwa einen Kilometer entfernt stießen sie auf Sicherheits@@ dienste , bewaffnet mit Stö@@ cken und Steinen . ||| 0-0 1-1 2-2 3-3 4-6 5-5 6-8 7-9 8-11 9-12 10-13 11-14 12-15 13-19 14-16 15-17 16-18 +die Polizei setzte T@@ rän@@ eng@@ as ein . ||| 0-0 1-1 2-2 3-3 4-3 5-4 6-4 7-6 8-6 +die Demonstranten forderten Shar@@ if Rücktritt , den er ablehnte . ||| 0-0 1-1 2-2 3-3 4-4 5-6 6-12 7-8 8-9 9-10 10-11 +das Militär spielt in Pakistan eine wichtige Rolle und hat in der Vergangenheit mehrfach die Macht ergriffen . ||| 0-0 1-1 2-2 3-3 4-7 5-3 6-4 7-5 8-20 9-10 10-16 11-17 12-18 13-14 14-11 15-11 16-10 17-20 diff --git a/tests/decoder/align/align.batched.expected b/tests/decoder/align/align.batched.expected new file mode 100644 index 0000000..e368ebe --- /dev/null +++ b/tests/decoder/align/align.batched.expected @@ -0,0 +1,30 @@ +Indien und Japan Ministerpräsidenten treffen sich in Tokio ||| 0-0 1-1 2-2 3-3 4-5 5-6 6-6 7-7 +auf der Tagesordnung stehen die Pläne für eine stärkere Zusammenarbeit im Nuklear@@ bereich . ||| 0-0 1-2 2-3 3-0 4-0 5-5 6-6 7-7 8-7 9-8 10-8 11-8 12-11 13-11 +Indien ist angeblich auch auf eine Einigung zur Verteidigungs@@ kooperation der beiden Nationen gehofft . ||| 0-0 1-1 2-3 3-4 4-4 5-6 6-7 7-8 8-9 9-10 10-11 11-13 12-14 13-4 14-16 +Kar@@ ra@@ tha Polizei nimmt 20-@@ Jährige nach Hochgeschwindigkeits@@ motor@@ en@@ jagd fest ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-8 9-10 10-11 11-11 12-4 +die Polizei von Kar@@ ra@@ tha hat einen 20-@@ jährigen Mann beauftragt , der es miss@@ achtete und leicht@@ sinn@@ ig@@ erweise fahr@@ bereit zu sein . ||| 0-0 1-3 2-0 3-0 4-1 5-2 6-4 7-6 8-7 9-8 10-9 11-5 12-10 13-10 14-11 15-11 16-18 17-14 18-15 19-18 20-18 21-18 22-16 23-18 24-18 25-18 26-18 +er soll am 23. September in Kar@@ ra@@ tha Magistr@@ ats@@ -@@ Richter erscheinen . ||| 0-0 1-2 2-5 3-14 4-13 5-5 6-6 7-7 8-8 9-9 10-10 11-11 12-9 13-4 14-16 +das Motorrad wurde für drei Monate beschlagnahmt und im@@ matri@@ k@@ uliert . ||| 0-0 1-1 2-2 3-8 4-9 5-10 6-3 7-4 8-5 9-6 10-12 11-12 12-12 +George Web@@ ster warf N@@ air@@ n und Pit@@ loch@@ ry Hotel@@ rap@@ schen vor ||| 0-0 1-1 2-2 3-3 4-5 5-6 6-7 7-8 8-9 9-10 10-11 11-12 12-13 13-14 14-3 +ein Mann soll sich vor Gericht stellen , der Frauen in zwei Hotels vergewaltigt hat . ||| 0-0 1-1 2-3 3-5 4-5 5-8 6-4 7-6 8-6 9-10 10-11 11-12 12-13 13-8 14-15 15-15 +George Web@@ ster , 28 , stellte sich bei einer Anhörung vor dem Ober@@ landes@@ gericht in Glasgow die Gebühren . ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-7 9-10 10-11 11-12 12-13 13-14 14-15 15-19 16-17 17-17 18-7 19-8 20-6 +Rich@@ terin Lady Ra@@ e hat einen Prozes@@ stag für den 17. November auf dem Ober@@ landes@@ gericht Edinburgh festgelegt . ||| 0-0 1-0 2-1 3-2 4-3 5-4 6-5 7-6 8-7 9-8 10-9 11-10 12-9 13-11 14-12 15-13 16-14 17-18 18-16 19-4 20-18 +die Wiedervereinigung mit dem Very American Ideal , dass die Rechte der Arbeitnehmer , ||| 0-0 1-0 2-2 3-4 4-4 5-5 6-6 7-7 8-7 9-8 10-8 11-8 12-8 13-10 +aber es ist sicher keine radikale Initiative - zumindest durch amerikanische Standards . ||| 0-0 1-1 2-2 3-2 4-4 5-6 6-7 7-8 8-9 9-11 10-12 11-13 12-15 +die Amerikaner akzeptierten seit Generationen die Grund@@ bedingung , dass Arbeits@@ rechte Menschenrechte sind . ||| 0-0 1-3 2-4 3-0 4-1 5-5 6-6 7-7 8-15 9-9 10-9 11-10 12-12 13-11 14-15 +wie der Rever@@ end Martin Luther King Jr. vor fünfzig Jahren sagte : ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-9 9-9 10-10 11-8 12-12 +die Geschichte ist ein großer Lehrer . ||| 0-0 1-0 2-1 3-2 4-3 5-4 6-5 +nun weiß jeder , dass die Arbeiter@@ bewegung die Stärke der Nation nicht schm@@ älert , sondern vergrößert hat . ||| 0-0 1-2 2-1 3-2 4-19 5-4 6-5 7-6 8-10 9-11 10-12 11-14 12-9 13-9 14-9 15-15 16-15 17-16 18-15 19-19 +wer die Arbeit angreift , vergisst diese einfachen Wahrheiten , aber die Geschichte erinnert sie sich . ||| 0-0 1-3 2-3 3-2 4-14 5-4 6-5 7-6 8-7 9-8 10-9 11-10 12-10 13-11 14-12 15-11 16-11 +die Geschichte erinnert sich , wie sollten wir es . ||| 0-0 1-0 2-1 3-1 4-1 5-3 6-4 7-5 8-7 9-7 +Richter blockiert vorübergehend das Gesetz , das alle Louisiana Ab@@ t@@ reibungs@@ klin@@ iken schließen könnte ||| 0-0 1-2 2-1 3-2 4-3 5-11 6-4 7-7 8-8 9-9 10-9 11-9 12-10 13-10 14-6 15-5 +eine Anhörung soll innerhalb eines Monats für den Richter angesetzt werden , um eine dauer@@ haf@@ tere Regelung über das Gesetz zu fällen . ||| 0-0 1-1 2-2 3-5 4-6 5-7 6-8 7-9 8-10 9-4 10-11 11-11 12-11 13-13 14-15 15-21 16-21 17-16 18-17 19-18 20-19 21-12 22-12 23-21 +Small STU@@ DY : neue Medikamente können bremsen , Eier@@ stock@@ krebs ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-8 9-10 10-12 11-13 +die Forscher verfolgten die Frauen@@ arz@@ t@@ -Rei@@ se über sieben Jahre hinweg . ||| 0-0 1-1 2-2 3-3 4-4 5-6 6-7 7-7 8-7 9-8 10-9 11-10 12-2 13-11 +ältere Frauen und jene , deren Krebs zum Zeitpunkt der Diagnose fortgeschritt@@ ener war , hatten die ärmsten Überleben@@ schancen . ||| 0-0 1-1 2-2 3-3 4-4 5-4 6-5 7-9 8-11 9-12 10-13 11-7 12-20 13-20 14-20 15-14 16-15 17-16 18-17 19-18 20-20 +Garten@@ center rue fällt in Eigen@@ heim@@ besitzern . ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-5 7-6 8-8 +der TV-S@@ ender stopp@@ te etwa 40 Minuten , hat aber inzwischen wieder eine Übertragung . ||| 0-0 1-1 2-2 3-3 4-18 5-4 6-7 7-8 8-4 9-10 10-12 11-12 12-13 13-13 14-15 15-18 +etwa einen Kilometer entfernt stießen sie auf Sicherheits@@ dienste , bewaffnet mit Stö@@ cken und Steinen . ||| 0-0 1-1 2-2 3-3 4-6 5-5 6-8 7-9 8-11 9-12 10-13 11-14 12-15 13-19 14-16 15-17 16-18 +die Polizei setzte T@@ rän@@ eng@@ as ein . ||| 0-0 1-1 2-2 3-3 4-3 5-4 6-4 7-6 8-6 +die Demonstranten forderten Shar@@ if Rücktritt , den er ablehnte . ||| 0-0 1-1 2-2 3-3 4-4 5-6 6-12 7-8 8-9 9-10 10-11 +das Militär spielt in Pakistan eine wichtige Rolle und hat in der Vergangenheit mehrfach die Macht ergriffen . ||| 0-0 1-1 2-2 3-3 4-7 5-3 6-4 7-5 8-20 9-10 10-16 11-17 12-18 13-14 14-11 15-11 16-10 17-20 diff --git a/tests/decoder/align/align.expected b/tests/decoder/align/align.expected new file mode 100644 index 0000000..db4fe94 --- /dev/null +++ b/tests/decoder/align/align.expected @@ -0,0 +1,30 @@ +Indien und Japan Ministerpräsidenten treffen sich in Tokio ||| 0-0 1-1 2-2 3-3 4-5 5-6 6-6 7-7 +auf der Tagesordnung stehen die Pläne für eine verstärkte nukleare Zusammenarbeit . ||| 0-0 1-2 2-3 3-0 4-0 5-5 6-6 7-7 8-7 9-8 10-9 11-10 +auch Indien hofft angeblich auf eine Einigung zur Verteidigungs@@ kooperation beider Nationen . ||| 0-0 1-0 2-4 3-3 4-5 5-6 6-7 7-8 8-9 9-10 10-11 11-14 12-15 +Kar@@ ra@@ tha Polizei nimmt 20-@@ Jährige nach Hochgeschwindigkeits@@ motor@@ en@@ jagd fest ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-8 9-10 10-11 11-11 12-4 +die Polizei von Kar@@ ra@@ tha hat einen 20-@@ jährigen Mann beauftragt , der es versäumt zu stoppen und leicht@@ sinnig fahren zu können . ||| 0-0 1-3 2-0 3-0 4-1 5-2 6-4 7-6 8-7 9-8 10-9 11-5 12-10 13-10 14-11 15-11 16-12 17-13 18-14 19-15 20-18 21-16 22-18 23-18 24-18 +er soll am 23. September in Kar@@ ra@@ tha Magistr@@ ats erscheinen . ||| 0-0 1-2 2-5 3-14 4-13 5-5 6-6 7-7 8-8 9-9 10-10 11-16 12-16 +das Motorrad wurde für drei Monate beschlagnahmt und im@@ matri@@ k@@ uliert . ||| 0-0 1-1 2-2 3-8 4-9 5-10 6-3 7-4 8-5 9-6 10-12 11-12 12-12 +George Web@@ ster warf N@@ air@@ n und Pit@@ loch@@ ry Hotel@@ vergewal@@ tigung vor ||| 0-0 1-1 2-2 3-3 4-5 5-6 6-7 7-8 8-9 9-10 10-11 11-12 12-13 13-15 14-15 +ein Mann soll vor Gericht stehen , der Frauen in zwei Hotels vergewaltigt hat . ||| 0-0 1-1 2-3 3-5 4-5 5-4 6-15 7-6 8-10 9-11 10-12 11-13 12-8 13-15 14-15 +George Web@@ ster , 28 , stellte sich bei einer Anhörung vor dem Ober@@ landes@@ gericht in Glasgow die Vorwürfe . ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-7 9-10 10-11 11-12 12-13 13-14 14-15 15-19 16-17 17-17 18-7 19-8 20-19 +Rich@@ terin Lady Ra@@ e hat einen Prozes@@ stag für den 17. November beim Ober@@ landes@@ gericht Edinburgh festgelegt . ||| 0-0 1-0 2-1 3-2 4-3 5-4 6-5 7-6 8-7 9-8 10-9 11-10 12-9 13-11 14-13 15-14 16-18 17-16 18-4 19-18 +Wieder@@ ansch@@ aff@@ ung mit der Very American Ideal , die Arbeits@@ rechte sind Menschenrechte ||| 0-0 1-1 2-13 3-13 4-2 5-4 6-4 7-5 8-6 9-7 10-7 11-8 12-9 13-10 14-11 +aber es ist sicher keine radikale Initiative - zumindest durch amerikanische Standards . ||| 0-0 1-1 2-2 3-2 4-4 5-6 6-7 7-8 8-9 9-11 10-12 11-13 12-15 +die Amerikaner akzeptierten seit Generationen die Grundvoraussetzung , dass Arbeits@@ rechte Menschenrechte sind . ||| 0-0 1-3 2-4 3-0 4-1 5-5 6-6 7-15 8-8 9-9 10-10 11-12 12-11 13-15 +wie der Rever@@ end Martin Luther King Jr. vor fünfzig Jahren sagte : ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-9 9-9 10-10 11-8 12-12 +die Geschichte ist ein großer Lehrer . ||| 0-0 1-0 2-1 3-2 4-3 5-4 6-5 +nun weiß jeder , dass die Arbeiter@@ bewegung die Stärke der Nation nicht schm@@ älert , sondern vergrößert hat . ||| 0-0 1-2 2-1 3-2 4-19 5-4 6-5 7-6 8-10 9-11 10-12 11-14 12-9 13-9 14-9 15-15 16-15 17-16 18-15 19-19 +wer die Arbeit angreift , vergisst diese einfachen Wahrheiten , aber die Geschichte erinnert sich an sie . ||| 0-0 1-3 2-3 3-2 4-14 5-4 6-5 7-6 8-7 9-8 10-9 11-10 12-10 13-11 14-12 15-11 16-12 17-13 +die Geschichte erinnert sich , wie auch wir . ||| 0-0 1-0 2-1 3-1 4-1 5-3 6-4 7-5 8-6 +Richter blockiert vorübergehend das Gesetz , das alle Louisiana Ab@@ t@@ reibungs@@ klin@@ iken schließen könnte ||| 0-0 1-2 2-1 3-2 4-3 5-11 6-4 7-7 8-8 9-9 10-9 11-9 12-10 13-10 14-6 15-5 +eine Anhörung soll innerhalb eines Monats für den Richter angesetzt werden , um ein dauerhaftes Urteil über das Gesetz zu fällen . ||| 0-0 1-1 2-2 3-5 4-6 5-7 6-8 7-9 8-10 9-4 10-11 11-11 12-11 13-13 14-15 15-16 16-17 17-18 18-19 19-12 20-12 21-21 +Small STU@@ DY : neue Medikamente können bremsen , Eier@@ stock@@ krebs ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-8 9-10 10-12 11-13 +die Forscher verfolgten die Frauen@@ medizin@@ er über sieben Jahre hinweg . ||| 0-0 1-1 2-2 3-3 4-4 5-6 6-7 7-8 8-9 9-10 10-2 11-11 +ältere Frauen und jene , deren Krebs zum Zeitpunkt der Diagnose fortgeschritt@@ ener war , hatten die ärmsten Überlebens@@ raten . ||| 0-0 1-1 2-2 3-3 4-4 5-4 6-5 7-9 8-11 9-12 10-13 11-7 12-20 13-20 14-20 15-14 16-15 17-16 18-17 19-18 20-19 +Garten@@ center rue fällt bei Haus@@ besitzern . ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-8 +der TV-S@@ ender stopp@@ te etwa 40 Minuten den Rundfunk , hat aber inzwischen begonnen , erneut auszu@@ strahlen . ||| 0-0 1-1 2-2 3-3 4-18 5-4 6-7 7-8 8-4 9-4 10-3 11-11 12-12 13-12 14-13 15-14 16-16 17-15 18-15 19-17 +rund einen Kilometer entfernt stießen sie auf Sicherheits@@ dienste , bewaffnet mit Stö@@ cken und Steinen . ||| 0-0 1-1 2-2 3-3 4-6 5-5 6-8 7-9 8-11 9-12 10-13 11-14 12-15 13-19 14-16 15-17 16-18 +die Polizei setzte T@@ rän@@ eng@@ as ein . ||| 0-0 1-1 2-2 3-3 4-3 5-4 6-4 7-6 8-6 +die Demonstranten forderten Shar@@ if Rücktritt , den er ablehnte . ||| 0-0 1-1 2-2 3-3 4-4 5-6 6-12 7-8 8-9 9-10 10-11 +das Militär spielt eine wichtige Rolle in Pakistan und hat in der Vergangenheit mehrfach die Macht ergriffen . ||| 0-0 1-1 2-2 3-3 4-4 5-5 6-6 7-7 8-20 9-10 10-14 11-17 12-18 13-14 14-11 15-11 16-10 17-20 diff --git a/tests/decoder/align/run_amun_align.sh b/tests/decoder/align/run_amun_align.sh new file mode 100644 index 0000000..0b158b8 --- /dev/null +++ b/tests/decoder/align/run_amun_align.sh @@ -0,0 +1,15 @@ +#!/bin/bash + +# Exit on error +set -e + +# Check if amun is compiled +test -e $MRT_MARIAN/build/amun || exit $EXIT_CODE_SKIP + +# Test code goes here +$MRT_MARIAN/build/amun -c $MRT_MODELS/wmt16_systems/amun.en-de.yml --return-alignment -b 1 < text.in > amun.align.out +#cat amun.align.out | sed 's/ ||| /\t/' | cut -f1 > amun.out +#diff amun.align.out amun.align.expected > amun.align.diff + +# Exit with success code +exit 0 diff --git a/tests/decoder/align/test_align.sh b/tests/decoder/align/test_align.sh new file mode 100644 index 0000000..ee07dc7 --- /dev/null +++ b/tests/decoder/align/test_align.sh @@ -0,0 +1,11 @@ +#!/bin/bash + +# Exit on error +set -e + +# Test code goes here +$MRT_MARIAN/build/marian-decoder -c $MRT_MODELS/wmt16_systems/marian.en-de.yml --mini-batch 16 -b 5 --alignment < text.in > align.out +diff align.out align.expected > align.diff + +# Exit with success code +exit 0 diff --git a/tests/decoder/align/test_align_beam_1.sh b/tests/decoder/align/test_align_beam_1.sh new file mode 100644 index 0000000..a133b58 --- /dev/null +++ b/tests/decoder/align/test_align_beam_1.sh @@ -0,0 +1,11 @@ +#!/bin/bash + +# Exit on error +set -e + +# Test code goes here +$MRT_MARIAN/build/marian-decoder -c $MRT_MODELS/wmt16_systems/marian.en-de.yml --mini-batch 1 -b 1 --alignment < text.in > align.b1.out +diff align.b1.out align.b1.expected > align.b1.diff + +# Exit with success code +exit 0 diff --git a/tests/decoder/align/test_align_beam_1_batched.sh b/tests/decoder/align/test_align_beam_1_batched.sh new file mode 100644 index 0000000..7ee95d8 --- /dev/null +++ b/tests/decoder/align/test_align_beam_1_batched.sh @@ -0,0 +1,11 @@ +#!/bin/bash + +# Exit on error +set -e + +# Test code goes here +$MRT_MARIAN/build/marian-decoder -c $MRT_MODELS/wmt16_systems/marian.en-de.yml --mini-batch 32 -b 1 --alignment < text.in > align.batched.out +diff align.batched.out align.batched.expected > align.batched.diff + +# Exit with success code +exit 0 diff --git a/tests/decoder/align/text.in b/tests/decoder/align/text.in new file mode 100644 index 0000000..2a3449c --- /dev/null +++ b/tests/decoder/align/text.in @@ -0,0 +1,30 @@ +India and Japan prime ministers meet in Tokyo +high on the agenda are plans for greater nuclear co-operation . +India is also reportedly hoping for a deal on defence collaboration between the two nations . +Kar@@ ra@@ tha police arrest 20-@@ year-old after high speed motorcycle chase +Kar@@ ra@@ tha Police have charged a 20-@@ year-old man with failing to stop and reckless driving . +he is due to appear in Kar@@ ra@@ tha Magistr@@ ates Court on September 23 . +the motorcycle was seized and im@@ po@@ unded for three months . +George Web@@ ster accused of N@@ air@@ n and Pit@@ loch@@ ry hotel rap@@ es +a man is to stand trial accused of rap@@ ing women at two hotels . +George Web@@ ster , 28 , faced the charges during a hearing at the High Court in Glasgow . +judge Lady Ra@@ e set a trial date for November 17 at the High Court in Edinburgh . +re@@ connecting With the Very American Ideal That Labor Rights Are Human Rights +but it in certainly not a radical initiative - at least by American standards . +for generations , Americans accepted the basic premise that labor rights are human rights . +as the Rever@@ end Martin Luther King Jr. said fifty years ago : +history is a great teacher . +now everyone knows that the labor movement did not diminish the strength of the nation but enlarged it . +those who attack labor forget these simple truths , but history remembers them . +history remembers , as should we . +judge temporarily blocks law that could close all Louisiana abortion clinics +a hearing will be scheduled within a month for the judge to make a more permanent ruling on the law . +small STU@@ DY : new drugs may slow lung , o@@ vari@@ an cancer +the researchers tracked the women 's medical journeys across seven years . +older women and those whose cancer was more advanced at the time of diagnosis had the poorest survival rates . +garden centres rue fall in home@@ owners . +the TV station stopped broadcasting for approximately 40 minutes , but has since begun to broadcast again . +approximately one kilometre away , they c@@ lashed with security security services , armed with sticks and stones . +the police used tear gas . +the demonstrators demanded Shar@@ if 's resignation , which he refused . +the military plays an important role in Pakistan and has taken power by force several times in the past . -- cgit v1.2.3