Add test for marian-decoder --word-scores --normalize

2 files changed, 48 insertions, 0 deletions

diff --git a/tests/decoder/word-scores/scores_nrm.expected b/tests/decoder/word-scores/scores_nrm.expected
new file mode 100644
index 0000000..96abb82
--- /dev/null
+++ b/tests/decoder/word-scores/scores_nrm.expected
@@ -0,0 +1,30 @@
+Indien und Japan Ministerpräsidenten treffen sich in Tokio ||| WordScores= -0.04089 -0.00192 -0.10980 -1.32812 -0.02763 -0.10213 -0.00263 -0.03303 -0.01793
+auf der Tagesordnung stehen die Pläne für eine verstärkte nukleare Zusammenarbeit . ||| WordScores= -1.22005 -0.04970 -0.09432 -0.28738 -1.70265 -0.06309 -0.31387 -0.09139 -1.68826 -0.93759 -0.05291 -0.00430 -0.00051
+auch Indien hofft angeblich auf eine Einigung zur Verteidigungs@@ kooperation beider Nationen . ||| WordScores= -2.74515 -0.07360 -0.67568 -0.09383 -0.04489 -0.39293 -0.20209 -0.66822 -0.59267 -0.78335 -0.65132 -0.63348 -0.00575 -0.00039
+Kar@@ ra@@ tha Polizei nimmt 20-@@ Jährige nach Hochgeschwindigkeits@@ motor@@ en@@ jagd fest ||| WordScores= -0.00319 -0.00325 -0.06453 -0.02198 -0.43743 -0.00259 -1.14181 -0.00499 -1.43474 -0.77749 -0.48157 -0.32582 -0.05795 -0.05955
+die Polizei von Kar@@ ra@@ tha hat einen 20-@@ jährigen Mann beauftragt , der es versäumt zu stoppen und leicht@@ sinnig fahren zu können . ||| WordScores= -0.23397 -0.04033 -0.42472 -0.00173 -0.00423 -0.00356 -0.11537 -0.09349 -0.12831 -0.17832 -0.01599 -0.69943 -0.00824 -0.20732 -1.28687 -1.14479 -1.23328 -1.09319 -0.00537 -0.28364 -2.35658 -0.49825 -0.07414 -0.67561 -0.00086 -0.00009
+er soll am 23. September in Kar@@ ra@@ tha Magistr@@ ats@@ gerichtshof erscheinen . ||| WordScores= -0.71454 -0.10284 -0.08491 -0.01245 -0.00216 -0.02313 -0.00455 -0.00030 -0.00278 -0.51689 -0.77488 -2.56675 -0.59388 -0.02435 -0.00083
+das Motorrad wurde für drei Monate beschlagnahmt und im@@ matri@@ k@@ uliert . ||| WordScores= -0.10588 -0.01405 -0.41923 -1.50169 -0.04100 -0.00222 -0.07936 -0.00272 -1.06080 -1.33769 -0.06663 -0.06164 -0.00347 -0.00078
+George Web@@ ster warf N@@ air@@ n und Pit@@ loch@@ ry Hotel@@ vergewal@@ tigung vor ||| WordScores= -0.02363 -0.02346 -0.00320 -0.41958 -0.06258 -0.05673 -0.00380 -0.02385 -0.03899 -0.05584 -0.35274 -0.09804 -1.11734 -0.68719 -0.00902 -0.01350
+ein Mann soll vor Gericht gestanden haben , Frauen in zwei Hotels vergewaltigt zu haben . ||| WordScores= -0.09680 -0.04248 -0.02807 -1.84942 -0.01709 -2.69978 -0.03070 -0.00655 -0.55567 -0.45366 -0.01114 -0.00310 -0.05211 -0.02630 -0.04050 -0.00042 -0.00026
+George Web@@ ster , 28 , sah sich die Ank@@ lage@@ punkte während einer Anhörung vor dem Ober@@ landes@@ gericht in Glasgow vor . ||| WordScores= -0.54684 -0.02499 -0.00097 -0.61565 -0.01636 -0.04099 -1.25149 -0.24280 -0.77814 -1.01159 -0.48528 -0.08767 -0.35168 -0.10168 -0.07603 -0.97061 -0.01437 -0.52598 -0.05509 -0.01446 -0.18685 -0.03580 -0.72716 -0.07223 -0.00012
+Rich@@ terin Lady Ra@@ e hat einen Prozes@@ stag für den 17. November beim Ober@@ landes@@ gericht Edinburgh festgelegt . ||| WordScores= -0.09634 -0.00485 -0.00702 -0.00064 -0.00016 -0.81701 -0.99383 -0.50510 -0.35431 -0.00705 -0.19829 -0.01525 -0.00652 -1.51490 -0.06035 -0.06640 -0.00197 -0.38008 -0.79400 -0.00195 -0.00099
+Wieder@@ ansch@@ aff@@ ung mit der Very American Ideal , die Arbeits@@ recht@@ ler sind Menschenrechte ||| WordScores= -1.90424 -1.43656 -0.61533 -0.26713 -0.05842 -1.17917 -0.54343 -0.17504 -0.05829 -0.50013 -0.12147 -1.40399 -1.44332 -0.27007 -0.65474 -0.27955 -0.00133
+aber es ist sicher keine radikale Initiative - zumindest durch amerikanische Standards . ||| WordScores= -0.68096 -0.45680 -0.74202 -1.76784 -0.23947 -0.21112 -0.09906 -0.20861 -0.16088 -1.31204 -0.75941 -0.49600 -0.00891 -0.00117
+die Amerikaner akzeptierten seit Generationen die grundlegende Prämisse , dass die Arbeits@@ rechte die Menschenrechte sind . ||| WordScores= -0.71338 -0.05194 -0.79254 -1.04321 -0.12205 -0.14202 -1.87868 -0.43269 -0.01171 -0.38569 -1.29410 -0.34665 -0.44070 -0.63918 -0.01415 -0.08007 -0.00049 -0.00093
+wie der Rever@@ end Martin Luther King Jr. vor fünfzig Jahren sagte : ||| WordScores= -0.20641 -0.53558 -0.32719 -0.00755 -0.02007 -0.01040 -0.02178 -0.13532 -0.11456 -0.65949 -0.00130 -0.36127 -0.00179 -0.01371
+die Geschichte ist ein großer Lehrer . ||| WordScores= -0.37598 -0.11431 -0.08150 -0.52433 -0.29986 -0.08254 -0.03395 -0.01082
+nun weiß jeder , dass die Arbeiter@@ bewegung die Stärke der Nation nicht schm@@ älert , sondern vergrößert hat . ||| WordScores= -0.90658 -0.55558 -0.06967 -0.01340 -0.13874 -0.09934 -0.14824 -0.04885 -0.14820 -0.61382 -0.14306 -0.00366 -0.28656 -1.91238 -0.22144 -0.04161 -0.00074 -1.15905 -0.34893 -0.00260 -0.00049
+wer die Arbeit angreift , vergisst diese einfachen Wahrheiten , aber die Geschichte erinnert sich an sie . ||| WordScores= -0.44093 -1.03343 -0.06340 -0.12641 -0.00729 -0.37410 -0.18558 -0.36535 -0.01846 -0.04531 -0.28046 -0.22241 -0.14985 -0.68512 -0.76951 -0.52511 -0.07356 -0.02102 -0.00072
+die Geschichte erinnert sich , wie auch wir . ||| WordScores= -0.77863 -0.16928 -0.35702 -0.01338 -0.11687 -0.11858 -1.97418 -0.49450 -0.36832 -0.00112
+Richter blockiert vorübergehend das Gesetz , das alle Louisiana Ab@@ t@@ reibungs@@ klin@@ iken schließen könnte ||| WordScores= -0.00719 -0.10254 -0.36889 -1.73021 -0.54745 -0.00895 -0.22144 -0.15528 -1.73934 -0.71128 -0.36447 -0.02858 -0.09106 -0.00442 -0.04207 -0.10838 -0.00519
+eine Anhörung soll innerhalb eines Monats für den Richter angesetzt werden , um eine dauer@@ haf@@ tere Regelung über das Gesetz zu fällen . ||| WordScores= -0.54367 -0.06473 -0.51821 -0.70096 -0.01039 -0.13935 -0.36674 -0.46715 -0.02265 -0.55757 -0.24559 -0.00400 -0.10378 -1.08305 -0.75601 -0.17511 -0.02212 -0.99616 -1.00477 -0.05863 -0.16739 -0.58364 -1.26213 -0.00079 -0.00016
+Small STU@@ DY : neue Medikamente können bremsen , Eier@@ stock@@ krebs ||| WordScores= -0.70257 -0.06376 -0.48864 -0.00046 -0.00465 -0.35032 -0.41562 -1.70546 -0.07661 -0.51474 -1.34818 -0.02721 -0.16877
+die Forscher verfolgten die Frauen@@ medizin@@ er über sieben Jahre hinweg . ||| WordScores= -0.08592 -0.02898 -1.50026 -0.16750 -0.27977 -1.81562 -0.12966 -1.22747 -0.03613 -0.00934 -0.29243 -0.03141 -0.00120
+ältere Frauen und jene , deren Krebs zum Zeitpunkt der Diagnose fortgeschritt@@ ener war , hatten die ärm@@ ste Überlebens@@ rate . ||| WordScores= -0.15420 -0.03699 -0.04279 -1.00939 -0.02250 -0.08147 -0.44647 -1.60670 -0.00837 -0.01104 -0.06034 -1.92679 -0.09700 -0.27993 -0.00487 -0.25507 -0.05925 -1.12613 -0.15397 -0.85289 -0.11475 -0.04919 -0.00023
+Garten@@ center rue fällt bei Haus@@ besitzern aus . ||| WordScores= -0.19726 -1.01897 -0.51802 -1.09557 -0.91241 -0.20936 -0.40527 -1.39473 -0.00550 -0.00078
+der TV-S@@ ender stopp@@ te etwa 40 Minuten den Rundfunk , hat aber inzwischen begonnen , erneut auszu@@ strahlen . ||| WordScores= -0.52677 -0.29096 -0.20426 -0.61259 -0.00341 -1.22019 -0.01212 -0.00468 -2.01496 -0.33473 -0.05816 -0.35572 -0.29048 -0.17611 -1.42416 -0.02833 -0.72513 -0.38391 -0.01902 -0.00133 -0.00043
+rund einen Kilometer entfernt stießen sie auf Sicherheits@@ dienste , bewaffnet mit Stö@@ cken und Steinen . ||| WordScores= -1.46862 -0.14363 -0.03859 -0.07738 -0.44567 -0.00654 -0.42188 -0.66141 -0.32782 -0.26446 -1.06357 -0.06906 -0.06970 -0.15418 -0.00593 -0.03482 -0.00875 -0.00041
+die Polizei setzte T@@ rän@@ eng@@ as ein . ||| WordScores= -0.00592 -0.00421 -0.27382 -0.02830 -0.00920 -0.00375 -0.04769 -0.09557 -0.00688 -0.00039
+die Demonstranten forderten Shar@@ if Rücktritt , den er ablehnte . ||| WordScores= -0.04714 -0.01322 -0.49634 -0.14537 -0.72085 -0.08491 -0.02636 -0.92697 -0.06002 -1.12386 -0.00150 -0.00042
+das Militär spielt eine wichtige Rolle in Pakistan und hat in der Vergangenheit mehrfach die Macht ergriffen . ||| WordScores= -0.17988 -0.01928 -0.03541 -0.86463 -0.25607 -0.00735 -0.01728 -0.00134 -0.15019 -0.16581 -0.27596 -0.04422 -0.00276 -0.46245 -0.56012 -0.05819 -1.08004 -0.07824 -0.00055
diff --git a/tests/decoder/word-scores/test_word_scores_normalized.sh b/tests/decoder/word-scores/test_word_scores_normalized.sh
new file mode 100644
index 0000000..5277701
--- /dev/null
+++ b/tests/decoder/word-scores/test_word_scores_normalized.sh
@@ -0,0 +1,18 @@
+#!/bin/bash
+
+#####################################################################
+# SUMMARY: Generate length-normalized word-level scores
+# TAGS: word-scores normalize
+#####################################################################
+
+# Exit on error
+set -e
+
+# Test code goes here
+$MRT_MARIAN/marian-decoder -c $MRT_MODELS/wmt16_systems/marian.en-de.yml -b 5 --word-scores -n < text.in > scores_nrm.out
+
+# Note: word-level scores are not normalized, only sentence-level scores in beam-search
+$MRT_TOOLS/diff-nums.py -p 0.0001 scores_nrm.out scores_nrm.expected -o scores_nrm.diff
+
+# Exit with success code
+exit 0