diff options
| -rw-r--r-- | .gitignore | 6 | ||||
| -rw-r--r-- | Makefile | 13 | ||||
| -rw-r--r-- | models/download_wmt16.sh | 21 | ||||
| -rw-r--r-- | models/preprocess.sh | 12 | ||||
| -rw-r--r-- | models/wmt16.en-de/marian.yml | 11 | ||||
| -rwxr-xr-x | run_mrt.sh | 30 | ||||
| -rw-r--r-- | tests/_template/test_template.sh | 2 | ||||
| -rw-r--r-- | tests/decoding/wmt16/setup.sh | 2 | ||||
| -rw-r--r-- | tests/decoding/wmt16/test_ende.sh | 11 | ||||
| -rw-r--r-- | tests/decoding/wmt16/text.expected | 100 | ||||
| -rw-r--r-- | tests/decoding/wmt16/text.in | 100 | ||||
| -rw-r--r-- | tests/examples/iris/test_iris.sh | 2 |
12 files changed, 292 insertions, 18 deletions
@@ -6,4 +6,8 @@ *.stdout marian -models/wmt16.en-de +models/*/model.npz +models/*/model.npz.json +models/*/vocab.* +models/*/*.bpe +models/*/truecase.* @@ -3,6 +3,7 @@ THREADS=16 GIT_MARIAN=http://github.com/marian-nmt/marian-dev.git GIT_MOSES_SCRIPTS=http://github.com/marian-nmt/moses-scripts.git +GIT_SUBWORD_NMT=http://github.com/rsennrich/subword-nmt.git URL_MODELS= @@ -10,10 +11,16 @@ URL_MODELS= .SECONDARY: -install: marian/build/marian +install: marian/build/marian tools -download: - test $(URL_MODELS) && wget -q --show-progress $(URL_MODELS) +tools: + mkdir -p $@ + cd $@ && git clone $(GIT_MOSES_SCRIPTS) + cd $@ && git clone $(GIT_SUBWORD_NMT) + +models: + mkdir -p $@ + cd $@ && bash download_wmt16.sh ##################################################################### diff --git a/models/download_wmt16.sh b/models/download_wmt16.sh new file mode 100644 index 0000000..f86d982 --- /dev/null +++ b/models/download_wmt16.sh @@ -0,0 +1,21 @@ +#!/bin/bash + +URL=http://data.statmt.org/rsennrich/wmt16_systems +SRC=en +TRG=de + +MODEL_FILES=( + $URL/$SRC-$TRG/model.npz + $URL/$SRC-$TRG/model.npz.json + $URL/$SRC-$TRG/vocab.$SRC.json + $URL/$SRC-$TRG/vocab.$TRG.json + $URL/$SRC-$TRG/$SRC$TRG.bpe + $URL/$SRC-$TRG/truecase-model.$SRC +) + +mkdir -p wmt16.$SRC-$TRG + +for model_file in ${MODEL_FILES[@]}; do + echo $model_file + wget -q --no-clobber --directory-prefix wmt16.$SRC-$TRG --show-progress $model_file +done diff --git a/models/preprocess.sh b/models/preprocess.sh new file mode 100644 index 0000000..4b5bc3c --- /dev/null +++ b/models/preprocess.sh @@ -0,0 +1,12 @@ +#!/bin/bash + +root="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )" +moses_scripts=$root/../tools/moses-scripts +subword_nmt=$root/../tools/subword-nmt + +model_dir=$root/wmt16.en-de + +$moses_scripts/scripts/tokenizer/normalize-punctuation.perl -l en \ + | $moses_scripts/scripts/tokenizer/tokenizer.perl -l en -penn \ + | $moses_scripts/scripts/recaser/truecase.perl -model $model_dir/truecase-model.en \ + | $subword_nmt/apply_bpe.py -c $model_dir/ende.bpe diff --git a/models/wmt16.en-de/marian.yml b/models/wmt16.en-de/marian.yml new file mode 100644 index 0000000..7bb15af --- /dev/null +++ b/models/wmt16.en-de/marian.yml @@ -0,0 +1,11 @@ +relative-paths: true +type: amun +models: + - model.npz +dim-emb: 500 +vocabs: + - vocab.en.json + - vocab.de.json +dim-vocabs: + - 85000 + - 85000 @@ -20,13 +20,11 @@ function logn { function format_time { dt=$(echo "$2 - $1" | bc) - dd=$(echo "$dt/86400" | bc) - dt2=$(echo "$dt-86400*$dd" | bc) - dh=$(echo "$dt2/3600" | bc) - dt3=$(echo "$dt2-3600*$dh" | bc) - dm=$(echo "$dt3/60" | bc) - ds=$(echo "$dt3-60*$dm" | bc) - printf "%d:%02d:%02d:%02.3fs" $dd $dh $dm $ds + dh=$(echo "$dt/3600" | bc) + dt2=$(echo "$dt-3600*$dh" | bc) + dm=$(echo "$dt2/60" | bc) + ds=$(echo "$dt2-60*$dm" | bc) + printf "%02d:%02d:%02.3fs" $dh $dm $ds } count_passed=0 @@ -48,22 +46,24 @@ do log "Running setup script" cd $test_dir - $SHELL setup.sh &> setup.stderr + $SHELL setup.sh &> setup.log if [ $? -ne 0 ]; then log "Error: setup script returns a non-success exit code" success=false break else - rm setup.stderr + rm setup.log fi cd $MRT_ROOT fi - test $success || break + # Don't run tests if setup failed + test $success || continue # Run tests for test_path in $(ls -A $test_dir/test_*.sh 2>/dev/null) do + test_time_start=$(date +%s.%N) ((++count_all)) # Tests are executed from their directory @@ -85,11 +85,17 @@ do echo " failed" success=false fi + + # Report time + test_time_end=$(date +%s.%N) + test_time=$(format_time $test_time_start $test_time_end) + log "Test took $test_time" cd $MRT_ROOT done cd $MRT_ROOT + # Don't teardown if a test failed test $success || break # Run teardown script if exists @@ -97,12 +103,12 @@ do log "Running teardown script" cd $test_dir - $SHELL teardown.sh &> teardown.stderr + $SHELL teardown.sh &> teardown.log if [ $? -ne 0 ]; then log "Error: teardown script returns a non-success exit code" break else - rm teardown.stderr + rm teardown.log fi cd $MRT_ROOT fi diff --git a/tests/_template/test_template.sh b/tests/_template/test_template.sh index 45c61c2..b98015a 100644 --- a/tests/_template/test_template.sh +++ b/tests/_template/test_template.sh @@ -12,5 +12,5 @@ trap clean_up EXIT # Test code goes here # ... -# exit with success code +# Exit with success code exit 0 diff --git a/tests/decoding/wmt16/setup.sh b/tests/decoding/wmt16/setup.sh new file mode 100644 index 0000000..c4347ba --- /dev/null +++ b/tests/decoding/wmt16/setup.sh @@ -0,0 +1,2 @@ +test $MRT_MODELS/wmt16.en-desdf/model.npz || exit 1 +exit 0 diff --git a/tests/decoding/wmt16/test_ende.sh b/tests/decoding/wmt16/test_ende.sh new file mode 100644 index 0000000..b5da2f2 --- /dev/null +++ b/tests/decoding/wmt16/test_ende.sh @@ -0,0 +1,11 @@ +#!/bin/bash + +# Exit on error +set -e + +# Test code goes here +$MRT_MARIAN/build/s2s -c $MRT_MODELS/wmt16.en-de/marian.yml < text.in > text.out +diff -q text.out text.expected + +# Exit with success code +exit 0 diff --git a/tests/decoding/wmt16/text.expected b/tests/decoding/wmt16/text.expected new file mode 100644 index 0000000..054748e --- /dev/null +++ b/tests/decoding/wmt16/text.expected @@ -0,0 +1,100 @@ +Indien und Japan Ministerpräsidenten treffen sich in Tokio +Indiens neuer Premierminister Nar@@ endra Modi trifft sein jap@@ anisches Pendant , Shin@@ zo Abe , in Tokio , um über wirtschaftliche und Sicherheits@@ beziehungen zu diskutieren , auf seinem ersten wichtigen Auslands@@ besuch seit der Wahl im Mai . +Herr Modi ist auf einer fünft@@ ä@@ gigen Reise nach Japan , um die wirtschaftlichen Beziehungen zur dritt@@ größten Volkswirtschaft der Welt zu stärken . +auf der Tagesordnung stehen die Pläne für eine verstärkte nukleare Zusammenarbeit . +auch Indien hofft angeblich auf eine Einigung zur Verteidigungs@@ kooperation beider Nationen . +Kar@@ ra@@ tha Polizei nimmt 20-@@ Jährige nach Hochgeschwindigkeits@@ motor@@ en@@ jagd fest +ein Motorrad ist beschlagnahmt worden , nachdem es 12@@ 5km / h in einer 70@@ km / h-@@ Zone und durch Busch@@ land zur Flucht der Polizei in der Pil@@ bara ger@@ ut@@ scht war . +die Verkehrs@@ polizei auf Pat@@ rou@@ ille in Kar@@ ra@@ tha an diesem Vormittag versuchte , über ein blau@@ es Motorrad zu ziehen , als sie sie entdeckten , sie erreichte 12@@ ,5 / h , wie sie aus einer Tankstelle an der Bath@@ tor@@ straße aus@@ zog . +die Polizei meldet den Reiter dann nicht an und fuhr weiter bis zur Bur@@ ges@@ e-@@ Straße , bevor er in Busch@@ land fuhr , wodurch die Beamten aus den Augen verloren haben . +das Motorrad und ein Mensch Treffer der Beschreibung des Rei@@ ters wurde dann in einem Haus auf Wal@@ cott Way in Bulgar@@ ra ges@@ ichtet . +die Polizei von Kar@@ ra@@ tha hat einen 20-@@ jährigen Mann beauftragt , der es versäumt zu stoppen und leicht@@ sinnig fahren zu können . +er soll am 23. September in Kar@@ ra@@ tha Magistr@@ ats erscheinen . +das Motorrad wurde für drei Monate beschlagnahmt und im@@ matri@@ k@@ uliert . +George Web@@ ster warf N@@ air@@ n und Pit@@ loch@@ ry Hotel@@ vergewal@@ tigung vor +ein Mann soll vor Gericht stehen , der Frauen in zwei Hotels vergewaltigt hat . +George Web@@ ster , 28 , stellte sich bei einer Anhörung vor dem Ober@@ landes@@ gericht in Glasgow die Vorwürfe . +er soll am 7. Juni 2013 eine Frau im schottischen Hotel in Pit@@ loch@@ ry in Per@@ th@@ shire vergewaltigt haben . +es wird von Web@@ ster angegriffen , während sie " bewusst@@ los , schlä@@ ft und unfähig ist , ihre Zustimmung zu geben " . +Web@@ ster ist dann angeklagt , eine zweite Frau im Golf View Hotel in N@@ air@@ n im Hochland am 4. Mai 2014 vergewaltigt zu haben . +Rich@@ terin Lady Ra@@ e hat einen Prozes@@ stag für den 17. November beim Ober@@ landes@@ gericht Edinburgh festgelegt . +Wieder@@ ansch@@ aff@@ ung mit der Very American Ideal , die Arbeits@@ rechte sind Menschenrechte +die Kongres@@ sab@@ geordnete Keith Ell@@ ison und John Lewis haben eine Gesetzgebung vorgeschlagen , um die Organisation der Organisation als Bürger@@ recht zu schützen . +" so gehen die Gewerkschaften , also gehen bürgerlichen Jobs " , sagt Ell@@ ison , der Minnesota Demok@@ rat , der als Kongress Progressive C@@ auc@@ us Co-@@ Vorsitzende betreut . +deshalb bin ich stolz darauf , den Emp@@ loy@@ ee Em@@ power@@ ment Act mit Bürger@@ recht@@ e-@@ Ikone John Lewis vorzustellen . +diese bahnbrechende Gesetzgebung wird den Arbeitnehmern die gleichen rechtlichen Möglichkeiten für die Organisation der Diskriminierung wie für andere Formen der Diskriminierung geben - einen Stopp gegen Gewerkschafts@@ kräfte an ihren Spuren +die Änderung des nationalen Arbeits@@ rechts@@ gesetzes , mit dem Arbeitnehmer , die diskriminiert werden , sich in die Gewerkschaft ein@@ gliedern zu lassen , um sich vor Gericht gegen die Justiz vor Gericht zu stellen - und Ausgleichszahlungen und Straf@@ zahlungen zu sammeln - ist eine solide und notwendige Initiative . +aber es ist sicher keine radikale Initiative - zumindest durch amerikanische Standards . +tatsächlich ist der beste Weg zu verstehen , was Ell@@ ison , Lewis und die Mitstrei@@ ter ihrer Gesetze vorschlagen , als eine Umverteilung mit einer sehr amerikanischen Idee . +ungeachtet dessen , was die Gewerkschaften in den letzten Jahren in den letzten Jahren ergriffen haben - in Wisconsin , Michigan und Staaten des Landes - haben die Amerikaner die Länder der Welt einst ermutigt , die Arbeits@@ rechte zu übernehmen , zu verlängern und zu respektieren . +es gab eine Zeit , innerhalb der Millionen Amerikaner , als dieses Land die Demokratie , die Meinungsfreiheit , die Pressefreiheit und das Recht zur Organisation im gleichen Atemzug unterstützte . +als die USA nach dem Zweiten Weltkrieg Japan besetzten , ermunter@@ ten General Douglas Mac@@ Arthur und seine Helfer das Land , eine Verfassung zu verabschieden , die darauf abzielt , dass die militar@@ isierte Autok@@ rati@@ e von Hide@@ ki To@@ jo durch die Demokratie ersetzt würde . +es ist völlig bewusst , dass die Arbeitnehmer und ihre Gewerkschaften eine Rolle bei der Gestaltung des neuen Japan spielen mussten , sie enthielten die Sprache , die ausdrücklich anerkennt , dass " das Recht der Arbeitnehmer , gemeinsam zu organisieren und gemeinschaftlich zu handeln und gemeinsam zu handeln , garantiert ist " . +als die USA nach dem Zweiten Weltkrieg Deutschland besetzten , forderten General D@@ wi@@ ght David Eisen@@ ho@@ wer und seine Helfer die Deutschen , eine Verfassung zu schreiben , die sicherstellt , dass der Faschismus von Adolf Hitler durch eine mus@@ kul@@ äre Demokratie ersetzt wurde . +das Bewusstsein , dass die Arbeitnehmer ihre Stimme in der neuen Nation organisieren und machen müssten , enthielt eine Bestimmung , die ausdrücklich erklärt : " das Recht , Verbände zu bilden , die Arbeits- und Wirtschafts@@ bedingungen zu sichern und zu verbessern , soll jedem Einzelnen und jedem Beruf oder Beruf garantiert werden . +Vereinbarungen , die das Recht einschränken oder versuchen , dieses Recht zu beeinträchtigen , sind hinfällig ; Maßnahmen , die für dieses Ende vorgesehen sind , sind rechtswidrig . +als ehemalige First Lady Ele@@ an@@ or Roosevelt unter der Leitung der Internationalen Kommission für Menschenrechte , die 1948 von den Vereinten Nationen als globalen Bund beschlossen wurde , schlossen Roosevelt und die Drach@@ enk@@ ämpfer eine Garantie dafür , dass " jeder das Recht hat , sich zu bilden und Gewerkschaften für den Schutz seiner Interessen beizutreten " . +die Amerikaner akzeptierten seit Generationen die Grundvoraussetzung , dass Arbeits@@ rechte die Menschenrechte sind . +als dieses Land andere Länder darüber berät , wie zivile und demokratische Gesellschaften zu schmieden sind , erklärten die Amerikaner , dass das Recht , eine Gewerkschaft zu organisieren - und dass die Gewerkschaft die Tarif@@ verhandlungen als gleichberechtigter Partner mit Unternehmen und Regierungsbehörden betreibt - geschützt werden müsse . +jetzt , mit diesen Rechten in Amerika , ist es klug , in der Tat , sich dem amerikanischen Ideal anzuschließen , dass die Menschen ein Recht auf eine Organisation und ihre Stimme in einer freien und offenen Gesellschaft haben müssen . +wie der Rever@@ end Martin Luther King Jr. vor fünfzig Jahren sagte : +die Geschichte ist ein großer Lehrer . +nun weiß jeder , dass die Arbeiter@@ bewegung die Stärke der Nation nicht schm@@ älert , sondern vergrößert hat . +durch die Anhebung des Lebensstandards von Millionen , hat die Arbeit wunder@@ bar@@ erweise einen Markt für die Industrie geschaffen und die ganze Nation aufgehoben , um das Produktions@@ niveau zu beseitigen . +wer die Arbeit angreift , vergisst diese einfachen Wahrheiten , aber die Geschichte erinnert sich an sie . +die Geschichte erinnert sich , wie auch wir . +die formale Anerkennung von Arbeits@@ rechten als Menschenrechte - und die Ausweitung von Bürger@@ rechten , um eine Diskriminierung von Arbeits@@ gemeinschaften zu verhindern - ist überfällig . +Keith Ell@@ ison und John Lewis sind erneu@@ ernde Ideale , die Amerika historisch vergrößert und das Versprechen der Demokratie deutlich gemacht hat . +Richter blockiert vorübergehend das Gesetz , das alle Louisiana Ab@@ t@@ reibungs@@ klin@@ iken schließen könnte +ein US-@@ Bundes@@ richter am Sonntag hat die Durchsetzung eines Louisiana Gesetzes vorübergehend blockiert , wonach die Befürworter sagen würden , hätten alle fünf Ab@@ t@@ reibungs@@ klin@@ iken im Staat geschlossen . +diese Maßnahme , die im Juni von dem Gouverneur von Louisiana , Bobby Jin@@ dal , unterzeichnet und in Kraft treten soll , würde dazu führen , dass Ärzte , die Abtreibungen durchführen , in einem Krankenhaus innerhalb von 30 Meilen ihrer Praxis die Zulassung eines Patienten zulassen . +das Urteil des Richters bedeutet jedoch , dass die Ärzte nach solchen Privilegien vorerst auch weiterhin legale Abtreibungen durchführen können . +" Pla@@ in@@ ti@@ ffs werden rechtmäßig agieren dürfen , während sie ihre Bemühungen um Privilegien fortsetzen " , schrieb Bundes@@ richter John de@@ Grav@@ elles in der Entscheidung . +eine Anhörung soll innerhalb eines Monats für den Richter angesetzt werden , um eine dauer@@ haf@@ tere Gesetzes@@ lage zu treffen . +Ab@@ t@@ reibungs@@ recht@@ ler appl@@ audi@@ erten die Entscheidung , die letzte in einer Reihe von Urteilen gegen ähnliche Maßnahmen , wonach sie den Ärzten mehr Zeit zur Suche nach Krankenhaus@@ privileg@@ ien geben würde . +" das heutige Urteil sorgt dafür , dass sich Louisiana Frauen von einem unter@@ lassenen Gesetz sicher sind , das sie von ihrer Gesundheit und Rechten ab@@ streifen will " , sagte Nancy North@@ up , Präsidentin und Chef@@ in des Zentrums für Re@@ produktions@@ rechte , die das Gesetz im Auftrag von drei der fünf Kliniken des Bundesstaates blockieren wollten . +es war nicht sofort klar , ob das Urteil für Ärzte aus den beiden Kliniken galt , die im An@@ zug keine Kläger waren und auch für die Zulassung von Privilegien beantragt wurden . +Louisiana ist unter elf Staaten , die ähnliche Gesetze verabschiedet haben , mit Gerichten in jüngster Zeit verfassungs@@ widrig solche Maßnahmen in Alabama und Mississippi . +wichtige Teile eines tex@@ anischen Gesetzes , das die meisten verbliebenen Kliniken in diesem Staat ver@@ sperrt hätten , wurden am Freitag von einem Bundes@@ richter blockiert . +Ab@@ t@@ reibungs@@ recht@@ ler Aktivisten , zusammen mit dem amerikanischen Kollegium der Gebur@@ tsh@@ el@@ fer und Gy@@ nec@@ ologen und der amerikanischen Ärz@@ tek@@ ammer , sagen , die Zulassung von Privilegien er@@ gebe medizinisch überflüssige Auflagen für Ärzte . +Anti-@@ Ab@@ t@@ reibungs@@ befürwor@@ ter kon@@ terten , die Maßnahmen zielen darauf ab , die Gesundheit der Frauen zu schützen , obwohl manche auch ihre Wirkung von ver@@ sperr@@ ten Kliniken gelobt haben . +nur ein Arzt , der Abtreibungen in Louisiana durchführt , hat das Krankenhaus ein@@ gesteht Privilegien , teilte das Zentrum für Re@@ produktions@@ rechte mit . +sollten alle anderen Ärzte des Staates dazu gezwungen werden , die Abtreibung einzustellen , würde dieser Arzt , der für seine Sicherheit fürchtet , aufhören , das Verfahren durchzuführen , sagte der Konzern . +im Streit gegen das Urteil sagten , dass sie Ärzte nicht bestrafen würden , während ihre Anträge für die Zulassung von Privilegien anhängig seien . +verzö@@ gerte Diagnose und Unfähigkeit zum besten Umgang mit Eier@@ stock@@ krebs tötet mehr in ländlichen Gebieten +Angel@@ ina Jo@@ lie und ihr Bruder James haben eine Video-@@ Hommage an ihre verstor@@ bene Mutter geschrieben , die 2007 an O@@ vari@@ an Krebs starb . +Frauen , die im ländlichen Australien leben , seien bei einem höheren Risiko , an Eier@@ stock@@ krebs zu sterben als ihre städtischen Kollegen . +die Forscher analy@@ sierten medizinische Aufzeichnungen von mehr als 1100 australischen Frauen , die im Jahr 2005 mit Eier@@ stock@@ krebs diagnostiziert wurden , wobei gerade 35 Prozent nach der Diagnose fünf Jahre lang lebten . +Leit@@ forscher Susan Jordan , vom Q@@ IM@@ R Bergh@@ ofer Medical Research Institute , sagte , diejenigen , die in regionalen und abgelegenen Gebieten des Staates lebten , hätten während der Studie rund 20 Prozent häufiger sterben als die in städtischen Gebieten . +Small STU@@ DY : neue Medikamente können bremsen , Eier@@ stock@@ krebs +die Forscher verfolgten die Frauen@@ medizin@@ er über sieben Jahre hinweg . +Dr. Jordan sagte , eine Frau sei zur Zeit der Diagnose , o@@ var@@ an Krebs@@ art , auch die Überlebens@@ möglichkeiten von bestehenden Krankheiten und sozioökonomischen Status beeinflusst . +ältere Frauen und jene , deren Krebs zum Zeitpunkt der Diagnose fortgeschritt@@ ener war , hatten die ärmsten Überlebens@@ raten . +wer in Regional- und abgelegenen Gebieten des Staates lebt , war während der Studie rund 20 Prozent mehr wert als die in städtischen Gebieten . +obwohl die Studie nicht bestimmt war , warum Frauen , die außerhalb der Stadt leben , eher an Eier@@ stock@@ krebs sterben , schlug Dr. Jordan eine verzö@@ gerte Diagnose und Unfähigkeit , die beste Behandlungs@@ möglichkeit zu erreichen . +" diese Krankheit wird am besten durch gyn@@ äk@@ ologische On@@ k@@ ologi@@ e-@@ Chir@@ urgen behandelt und sie sind meist in Großstädten ansässig " , sagte sie . +trotz der Verbesserung der Tel@@ e-@@ Arz@@ t-@@ Dienstleistungen , um die Tyrannei der Entfernung zu verringern , schlug sie mehr fl@@ y-@@ in , fl@@ y-@@ out-@@ Dienste , damit Spezialisten behandeln Frauen näher zu Hause und Programme unterstützen Menschen in Behandlung weg von ihren Gemeinden helfen könnten helfen . +Dr. Jordan sagte unabhängig von geografischen Status , die Studie fand langfristig das Überleben unter Frauen mit Eier@@ stock@@ krebs war arm und verstärkt die Notwendigkeit für bessere Behandlungs@@ - und Präventions@@ strategien . +die Forschungen , die vom Rio T@@ into Ride bis Con@@ tal@@ -@@ Krebs finanziert werden , werden heute im Medical Journal of Australia veröffentlicht . +im März 2012 wurde bei 33 Jahren der jungen Gold-@@ Küstenwache Mama El@@ isha Ne@@ ave mitgeteilt , sie habe eine aggressive Form von Eier@@ stock@@ krebs . +Garten@@ zentren bereuen bei Haus@@ besitzern +der Rückgang , gepaart mit einem besonderen Rückgang der Zahl der Haus@@ besitzer im Alter von unter 35 Jahren , könnte dazu führen , dass Garten@@ zentren auf zig Millionen Pfund pro Jahr verloren gehen , wenn die heute jungen Verbraucher die " Kern@@ garten@@ alters@@ gruppe " erreichen , wie die Studie der HT@@ A berichtet , die von der " Financial Times " berichtet wurde . +laut Bericht geben die Menschen Miet@@ objekte im Durchschnitt 55 Prozent der Summe aus , die die mit eigenen Wohnungen für ihre Gärten ausgeben . +Sie nannte den Anstieg von Menschen , die in hoch urban@@ isierten Gebieten ohne Gärten lebten , die Beliebtheit der Pf@@ last@@ erung über Vorder@@ gärten für die Park@@ - und schrumpf@@ ende Garten@@ größe als andere Faktoren , die die Branche bedrohen , die jährlich schätzungsweise fünf Milliarden Euro Umsatz wert ist . +Greater London , wo das Eigen@@ heim in sechs Jahren von 61 Prozent auf 43 Prozent gesunken ist , hat Großbritanniens niedrigste Ausgaben pro Haushalt für Garten@@ produkte . +die HT@@ A und Royal Garten@@ bau@@ gesellschaft erklärte , die Vermietung von Immobilien oder fehlende Garten@@ flächen bede@@ ute nicht , dass Menschen keine Pflanzen anbauen könnten . +Guy Bar@@ ter , Chef@@ garten@@ berater der R@@ HS , sagte : " Container Garten@@ bau etwa ist vor allem bei Ren@@ dern beliebt , die ihre Anlagen bewegen können , wenn sie umziehen " . +der HT@@ A-@@ Bericht hat die Zeit zwischen 1997 und 2005 als das " goldene Zeitalter " des Garten@@ kunden@@ sektors als Ergebnis eines erhöhten Eigen@@ betrieb@@ es und wirtschaftlichen Wohlstands in den späten 80er Jahren bis Mitte der neunziger Jahre festgelegt . +Sie prognosti@@ zierte auch in diesem Jahr einen verbesserten Markt aufgrund von besser@@ em Wetter nach ungünstigen Bedingungen im März und April des vergangenen Jahres . +in Pakistan führte die Protest@@ bewegung des politischen Gegners , Im@@ ran Khan , und der geist@@ liche Führer Tah@@ ir@@ ul Qad@@ ri weiter . +in der Hauptstadt Islamabad stür@@ mten rund 1000 Demonstranten den regierungs@@ nahen Fernsehsender , P@@ TV . +allerdings sagte Informations@@ minister Per@@ v@@ ai@@ z Ras@@ hid , dass Soldaten die Demonstranten wieder aus dem Gebäude zwingen können . +der TV-S@@ ender stopp@@ te die Ausstrahlung rund 40 Minuten , hat aber inzwischen begonnen , erneut auszu@@ strahlen . +gleichzeitig versuchten rund 3000 Demonstranten , den offiziellen Wohnsitz von Ministerpräsident Na@@ wa@@ z Shar@@ if zu erreichen . +rund einen Kilometer entfernt stießen sie auf Sicherheits@@ dienste , bewaffnet mit Stö@@ cken und Steinen . +die Polizei setzte T@@ rän@@ eng@@ as ein . +die Demonstranten forderten Shar@@ if Rücktritt , den er ablehnte . +die pakistanische Armee forderte eine politische Lösung des Konflikts " ohne Verzögerung und ohne zu Gewalt " . +im Anschluss an ein Treffen am Sonntag@@ abend kündigte das Militär an : " die Armee setzt sich nach wie vor für ihre Aufgabe ein , die Sicherheit für den Staat sicherzustellen " . +das Militär spielt eine wichtige Rolle in Pakistan und hat in der Vergangenheit mehrfach die Macht ergriffen . +der Oppositions@@ politiker Im@@ ran Khan wirft Premierminister Shar@@ if vor , die Parlamentswahlen , die im Mai vergangenen Jahres stattgefunden haben , manipuliert zu haben . diff --git a/tests/decoding/wmt16/text.in b/tests/decoding/wmt16/text.in new file mode 100644 index 0000000..94e4799 --- /dev/null +++ b/tests/decoding/wmt16/text.in @@ -0,0 +1,100 @@ +India and Japan prime ministers meet in Tokyo +India 's new prime minister , Nar@@ endra Modi , is meeting his Japanese counterpart , Shin@@ zo Abe , in Tokyo to discuss economic and security ties , on his first major foreign visit since winning May 's election . +Mr Modi is on a five-@@ day trip to Japan to strengthen economic ties with the third largest economy in the world . +high on the agenda are plans for greater nuclear co-operation . +India is also reportedly hoping for a deal on defence collaboration between the two nations . +Kar@@ ra@@ tha police arrest 20-@@ year-old after high speed motorcycle chase +a motorcycle has been seized after it was ridden at 12@@ 5km @/@ h in a 70@@ km @/@ h zone and through bush@@ land to escape police in the Pil@@ bara . +traffic police on patrol in Kar@@ ra@@ tha this morning tried to pull over a blue motorcycle when they spotted it reaching 12@@ 5km @/@ h as it pulled out of a service station on Bath@@ gate Road . +police say the rider then failed to stop and continued on to Bur@@ ges@@ s Road before turning into bush@@ land , causing the officers to lose sight of it . +the motorcycle and a person matching the description of the rider was then spotted at a house on Wal@@ cott Way in Bulgar@@ ra . +Kar@@ ra@@ tha Police have charged a 20-@@ year-old man with failing to stop and reckless driving . +he is due to appear in Kar@@ ra@@ tha Magistr@@ ates Court on September 23 . +the motorcycle was seized and im@@ po@@ unded for three months . +George Web@@ ster accused of N@@ air@@ n and Pit@@ loch@@ ry hotel rap@@ es +a man is to stand trial accused of rap@@ ing women at two hotels . +George Web@@ ster , 28 , faced the charges during a hearing at the High Court in Glasgow . +he is alleged to have raped a woman at the Scotland 's Hotel in Pit@@ loch@@ ry in Per@@ th@@ shire on June 7 , 2013 . +it is claimed Web@@ ster attacked her while she was `` unconscious , asleep and incapable of giving consent . '' +Web@@ ster is then charged with rap@@ ing a second woman at the Golf View Hotel in N@@ air@@ n in the Highlands on May 4 , 2014 . +judge Lady Ra@@ e set a trial date for November 17 at the High Court in Edinburgh . +re@@ connecting With the Very American Ideal That Labor Rights Are Human Rights +congres@@ smen Keith Ell@@ ison and John Lewis have proposed legislation to protect union organizing as a civil right . +`` As go unions , so go middle-class jobs , '' says Ell@@ ison , the Minnesota Democrat who serves as a Congressional Progressive C@@ auc@@ us co-@@ chair . +that 's why I 'm proud to introduce the Emp@@ loy@@ ee Em@@ power@@ ment Act with civil rights icon John Lewis . +this ground-@@ breaking legislation will give workers the same legal options for union organizing discrimination as for other forms of discrimination - stopping anti-@@ union forces in their tracks +amending the National Labor Relations Act to allow workers who face discrimination for engaging in union organizing to sue for justice in the civil courts - and to collect compensatory and punitive damages - is a sound and necessary initiative . +but it in certainly not a radical initiative - at least by American standards . +indeed , the best way to understand what Ell@@ ison , Lewis and the co@@ sponsors of their legislation are proposing is as a re@@ connection with a very American idea . +despite the batter@@ ing that unions have taken in recent years - in Wisconsin , Michigan and states across the country - Americans once encouraged countries around the world to embrace , extend and respect labor rights . +there was a time , within the living memory of millions of Americans , when this country champion@@ ed democracy , freedom of speech , freedom of the press and the right to organize in the same breath . +when the United States occupied Japan after World War II , General Douglas Mac@@ Arthur and his ai@@ des encouraged the country to adopt a constitution designed to assure that Hide@@ ki To@@ jo 's milit@@ arized auto@@ cracy would be replaced with democracy . +fully aware that workers and their unions had a role to play in shaping the new Japan , they included language that explicitly recognized that `` the right of workers to organize and to bargain and act collectively is guaranteed . '' +when the United States occupied Germany after World War II , General D@@ wi@@ ght David Eisen@@ ho@@ wer and his ai@@ des urged the Germans to write a constitution that would assure that Adolf Hitler 's fascism was replaced with muscular democracy . +recognizing that workers would need to organize and make their voices heard in the new nation , the Germans included a provision that explicitly declared : `` The right to form associations to safeguard and improve working and economic conditions shall be guaranteed to every individual and to every occupation or profession . +agreements that restrict or seek to impair this right shall be null and void ; measures directed to this end shall be unlawful . +when former First Lady Ele@@ an@@ or Roosevelt chaired the International Commission on Human Rights , which drafted the Universal Declaration of Human Rights that would in 1948 be adopted by the United Nations as a global covenant , Roosevelt and the dra@@ f@@ ters included a guarantee that `` everyone has the right to form and to join trade unions for the protection of his interests . '' +for generations , Americans accepted the basic premise that labor rights are human rights . +when this country counsel@@ ed other countries on how to forge civil and democratic societies , Americans explained that the right to organize a trade union - and to have that trade union engage in collective bargaining as an equal partner with corporations and government agencies - had to be protected . +now , with those rights under assault in America , it is wise , indeed , to recomm@@ it to the American ideal that working people must have a right to organize and to make their voices heard in a free and open society . +as the Rever@@ end Martin Luther King Jr. said fifty years ago : +history is a great teacher . +now everyone knows that the labor movement did not diminish the strength of the nation but enlarged it . +by raising the living standards of millions , labor miracul@@ ously created a market for industry and lifted the whole nation to und@@ re@@ amed of levels of production . +those who attack labor forget these simple truths , but history remembers them . +history remembers , as should we . +the formal recognition of labor rights as human rights - and the extension of civil rights protections to prevent discrimination against labor organizing - is long overdue . +Keith Ell@@ ison and John Lewis are renewing ideals that have historically enlarged America and made real the promise of democracy . +judge temporarily blocks law that could close all Louisiana abortion clinics +a U.S. federal judge on Sunday temporarily blocked enforcement of a Louisiana law that advocates say would likely have closed all five abortion clinics in the state . +the measure , signed into law by Louisiana Governor Bobby Jin@@ dal in June and due to take effect Sept . 1 , would require doctors who perform abortions to have patient admitting privileges at a hospital within 30 miles of their practice . +however , the judge 's ruling means that for the time being doctors can continue to perform legal abortions while seeking such privileges . +`` Pla@@ in@@ ti@@ ffs will be allowed to operate lawfully while continuing their efforts to obtain privileges , '' Federal Judge John de@@ Grav@@ elles wrote in the decision . +a hearing will be scheduled within a month for the judge to make a more permanent ruling on the law . +abortion rights activists applauded the decision , the latest in a string of rulings against similar measures , saying it would give doctors more time to seek hospital privileges . +`` Today 's ruling ensures Louisiana women are safe from an under@@ handed law that seeks to strip them of their health and rights , '' said Nancy North@@ up , president and chief executive of the Center for Re@@ productive Rights , which su@@ ed to block the law on behalf of three of the state 's five clinics . +it was not immediately clear whether the ruling applied to doctors from the two clinics who were not plain@@ ti@@ ffs in the suit and have also applied for admitting privileges . +Louisiana is among 11 states that have passed similar laws , with courts recently ruling un@@ constitutional such measures in Alabama and Mississippi . +key parts of a Texas law that would have shut@@ tered most remaining clinics in that state were blocked by a federal judge on Friday . +abortion rights campaigners , along with the American College of obst@@ et@@ ri@@ cians and Gy@@ nec@@ ologists and the American Medical Association , say admitting privileges laws impose medi@@ cally unnecessary requirements on doctors . +anti-@@ abortion advocates have countered that the measures aim to protect women 's health , though some have also lau@@ ded their effect of shut@@ tering clinics . +only one doctor who performs abortions in Louisiana has hospital admitting privileges , the Center for Re@@ productive Rights said . +if all other doctors in the state are forced to stop performing abortions , that doctor , fearful for his safety , would stop carrying out the procedure , the group said . +in arguing against the ruling , Louisiana officials said they would not punish doctors performing abortions while their applications for admitting privileges were pending . +delayed diagnosis and inability to access best treatment mean o@@ vari@@ an cancer kills more in rural areas +Angel@@ ina Jo@@ lie and her brother James have posted a video tribute to their late mother who died of O@@ vari@@ an cancer in 2007 . +women living in rural Australia are at higher risk of dying from o@@ vari@@ an cancer than their city counterparts . +researchers analysed medical records of more than 1100 Australian women diagnosed with o@@ vari@@ an cancer in 2005 , finding just 35 per cent lived for five years after diagnosis . +lead researcher Susan Jordan , of the Q@@ IM@@ R Bergh@@ ofer Medical Research Institute , said those living in regional and remote areas of the state were about 20 per cent more likely to die during the study than those in urban areas . +small STU@@ DY : new drugs may slow lung , o@@ vari@@ an cancer +the researchers tracked the women 's medical journeys across seven years . +Dr Jordan said a woman 's age at the time of diagnosis , o@@ vari@@ an cancer type , having existing illnesses and socio-economic status also impacted on survival chances . +older women and those whose cancer was more advanced at the time of diagnosis had the poorest survival rates . +those living in regional and remote areas of the state were about 20 per cent more likely to die during the study than those in urban areas . +although the study was not designed to determine why women living outside the city were more likely to die from o@@ vari@@ an cancer , Dr Jordan suggested delayed diagnosis and inability to access best treatment might be factors . +`` This disease is best treated by gyn@@ a@@ ecological onc@@ ology surgeons and they 're mostly based in major cities , '' she said . +despite improving tel@@ e-@@ medicine services to lessen the tyranny of distance , she suggested more fl@@ y-@@ in , fl@@ y-@@ out services to allow specialists to treat women closer to home and programs to support people in treatment away from their communities could help . +Dr Jordan said regardless of geographical status , the study found long-term survival among women with o@@ vari@@ an cancer was poor , reinforcing the need for better treatment and prevention strategies . +the research , funded by the Rio T@@ into Ride to Con@@ quer cancer , will be published today in the Medical Journal of Australia . +in March 2012 , at 33 years of age , young Gold Coast m@@ um El@@ isha Ne@@ ave was told that she had an aggressive form of o@@ vari@@ an cancer . +garden centres rue fall in home@@ owners +the drop , coupled with a particular decline in the number of home@@ owners aged under 35 , could result in garden centres losing out on tens of millions of pounds a year when today 's young consumers reach the `` core gardening age group , '' according to the HT@@ A 's study , which was reported by the Financial Times . +according to the report , people renting properties spend an average of 55 per cent of the amount that those with their own homes spend on their gardens . +it cited the rise in people living in highly urban@@ ised areas with no gardens , the popularity of paving over front gardens for parking and shrinking garden size as other factors threatening the industry , which is worth an estimated £ 5 billion in sales each year . +greater London , where home ownership has fallen from 61 per cent to 43 per cent in six years , has Britain 's lowest spend per household on gardening products . +the HT@@ A and Royal Hor@@ ticultural Society said that renting property or a lack of garden space did not mean people could not grow plants . +guy Bar@@ ter , chief hor@@ ticultural adviser to the R@@ HS , said : `` Container gardening , for example , is especially popular with ren@@ ters who can move their plants when they relocate . '' +the HT@@ A report identified the period between 1997 and 2005 as the garden retail sector 's ` golden age '' as a result of increased home ownership and economic prosperity from the late 1980s to mid-@@ 1990s . +it also predicted an improved market this year due to better weather following unfavourable conditions in March and April last year . +in Pakistan , the protest movement led by political opponent , Im@@ ran Khan , and the spiritual leader , Tah@@ ir@@ ul Qad@@ ri , continues . +in the capital city of Islamabad , around 1000 demonstrators stor@@ med the government-@@ run television station , P@@ TV . +however , information minister , Per@@ v@@ ai@@ z Ras@@ hid , said that soldiers had been able to force the protesters back out of the building . +the TV station stopped broadcasting for approximately 40 minutes , but has since begun to broadcast again . +at the same time , around 3000 demonstrators attempted to reach the official residency of Prime Minister Na@@ wa@@ z Shar@@ if . +approximately one kilometre away , they c@@ lashed with security security services , armed with sticks and stones . +the police used tear gas . +the demonstrators demanded Shar@@ if 's resignation , which he refused . +the Pakistan Army called for a political solution to the conflict `` without delay and without resorting to violence . '' +following a meeting at its headquarters on Sunday evening , the military announced : `` The Army remains committed to its task of ensuring security for the State . '' +the military plays an important role in Pakistan and has taken power by force several times in the past . +the opposition politician , Im@@ ran Khan , acc@@ uses Prime Minister Shar@@ if of rig@@ ging the parliamentary elections , which took place in May last year . diff --git a/tests/examples/iris/test_iris.sh b/tests/examples/iris/test_iris.sh index 266261e..7222fc5 100644 --- a/tests/examples/iris/test_iris.sh +++ b/tests/examples/iris/test_iris.sh @@ -13,5 +13,5 @@ trap clean_up EXIT $MRT_MARIAN/build/iris_example > iris.out diff -q iris.out iris.expected -# exit with success code +# Exit with success code exit 0 |