Add tests with WNMT18 models

12 files changed, 285 insertions, 0 deletions

diff --git a/.gitignore b/.gitignore
index f33a1cc..474421b 100644
--- a/.gitignore
+++ b/.gitignore
@@ -23,6 +23,7 @@ models/wmt17_systems/en-de
 models/wmt17_systems/scripts
 models/wmt17_systems/vars
 models/char-s2s
+models/wnmt18
 
 data/*/corpus.*
 data/*/*.bpe
diff --git a/Makefile b/Makefile
index 4c4c73e..c8af791 100644
--- a/Makefile
+++ b/Makefile
@@ -38,6 +38,7 @@ models:
 	cd $@ && bash ./download-wmt16.sh
 	cd $@ && bash ./download-wmt17.sh
 	cd $@ && bash ./download-char-s2s.sh
+	cd $@ && bash ./download-wnmt18.sh
 
 data:
 	mkdir -p $@
diff --git a/models/download-wnmt18.sh b/models/download-wnmt18.sh
new file mode 100644
index 0000000..d79f28c
--- /dev/null
+++ b/models/download-wnmt18.sh
@@ -0,0 +1,4 @@
+#!/bin/bash
+
+# Download WNMT18 models
+wget -nc -nv -r -np -e robots=off -nH --cut-dirs=3 -R index.html* http://data.statmt.org/romang/marian-regression-tests/models/wnmt18/
diff --git a/tests/models/wnmt18/.gitignore b/tests/models/wnmt18/.gitignore
new file mode 100644
index 0000000..065225a
--- /dev/null
+++ b/tests/models/wnmt18/.gitignore
@@ -0,0 +1,5 @@
+newstest2014.in
+newstest2014.ref
+
+optimize.bleu
+optimize_aan.bleu
diff --git a/tests/models/wnmt18/optimize_aan.bleu.expected b/tests/models/wnmt18/optimize_aan.bleu.expected
new file mode 100644
index 0000000..ba7ca5e
--- /dev/null
+++ b/tests/models/wnmt18/optimize_aan.bleu.expected
@@ -0,0 +1 @@
+25.55
diff --git a/tests/models/wnmt18/setup.sh b/tests/models/wnmt18/setup.sh
new file mode 100644
index 0000000..45654f9
--- /dev/null
+++ b/tests/models/wnmt18/setup.sh
@@ -0,0 +1,9 @@
+test -f $MRT_MODELS/wnmt18/model.student.small/model.npz || exit 1
+test -f $MRT_MODELS/wnmt18/model.student.small.aan/model.npz || exit 1
+
+test -f $MRT_MODELS/wnmt18/lex.s2t || exit 1
+test -f $MRT_MODELS/wnmt18/newstest2014.bpe.en || exit 1
+
+head -n 100 $MRT_MODELS/wnmt18/newstest2014.bpe.en > newstest2014.in
+head -n 100 $MRT_MODELS/wnmt18/newstest2014.de > newstest2014.ref
+
diff --git a/tests/models/wnmt18/student_small.expected b/tests/models/wnmt18/student_small.expected
new file mode 100644
index 0000000..c5649a9
--- /dev/null
+++ b/tests/models/wnmt18/student_small.expected
@@ -0,0 +1,100 @@
+Or@@ land@@ o Blo@@ om und Mir@@ anda Ker@@ r lieben sich immer noch .
+Schauspieler Or@@ land@@ o Blo@@ om und Model Mir@@ anda Ker@@ r wollen ihre eigenen Wege gehen .
+in einem Interview sagte Blo@@ om jedoch , dass er und Ker@@ r einander immer noch lieben .
+Mir@@ anda Ker@@ r und Or@@ land@@ o Blo@@ om sind Eltern im zwei@@ jährigen Fl@@ ynn .
+der Schauspieler Or@@ land@@ o Blo@@ om kün@@ digte seine Trennung von seiner Frau , Super@@ model Mir@@ anda Ker@@ r .
+in einem Interview mit der US ##AT##-##AT## Journ@@ alisti@@ n K@@ atie Cou@@ ric , die am Freitag ( Orts@@ zeit ) ausge@@ strahlt werden soll , sagte Blo@@ om : " manchmal geht das Leben nicht genau so , wie wir planen oder hoffen " .
+er und Ker@@ r lieben sich immer noch , bet@@ on@@ ten den 36 ##AT##-##AT## J@@ ähri@@ gen .
+" wir werden einander unterstützen und uns als Eltern von Fl@@ ynn lieben " .
+Ker@@ r und Blo@@ om sind seit 2010 verhei@@ rat@@ et und ihr Sohn Fl@@ ynn wurde 2011 geboren .
+Jet ##AT##-##AT## Hersteller feu@@ ern die Sitz@@ breite mit großen Auf@@ trägen auf dem Spiel .
+auf Lang@@ stre@@ cken@@ flügen ist zwischen führenden Flug@@ zeu@@ gh@@ er@@ stellern eine Reihe über die Breite der Sit@@ ze der Touristen@@ klasse auf@@ get@@ au@@ cht , die den Ton für eine bit@@ tere Kon@@ fron@@ tation auf der Dubai Air@@ show in diesem Monat vor@@ gibt .
+der Streit konzentriert sich auf die Sitz@@ breite , die auf Lang@@ stre@@ cken@@ flügen für Economy ##AT##-##AT## Passagiere angeboten wird - nicht immer diejenigen , die am meisten von Fluggesellschaften ho@@ fft werden , deren zu@@ gewi@@ es@@ ener Platz aber den Schlüssel zu Effizi@@ enz@@ an@@ sprüchen für die neuesten J@@ ets von Airbus SA@@ S und Boeing Co.
+Airbus hat diese Woche einen Industri@@ est@@ and@@ ard gefordert , der einen Sitz von mindestens 18 Zoll ( 46 cm ) in Wirtschafts@@ kab@@ inen vorsieht , aber sein US ##AT##-##AT## Bo@@ gen@@ ri@@ v@@ ale Boeing sagt , dass es für Fluggesellschaften gelten sollte .
+der Streit kommt , wenn Flug@@ zeu@@ gh@@ er@@ steller darum r@@ ingen , immer größere Versionen ihres zwei@@ mot@@ ori@@ gen Fern@@ flug@@ zeu@@ gs zu verkaufen , wobei potenzi@@ ell Rek@@ ord@@ auf@@ träge auf der Veranstaltung vom 17. bis 21. November zu erwarten sind .
+wie die Rück@@ seite des Flug@@ zeu@@ gs angelegt ist - insbesondere ob die Sitz@@ plätze 9 oder 10 bel@@ aufen sind - ist von zentraler Bedeutung für die wirtschaftlichen Leistungs@@ ansprüche für neue " mini ##AT##-##AT## j@@ umb@@ o " Jet ##AT##-##AT## Designs .
+Boeing sagt , dass seine über@@ arbeitete " 7@@ 7@@ 7@@ X " 4@@ 06 Personen auf der Grundlage von Wirtschafts@@ sitzen mehr als 17 Zoll breit halten und 10 in jeder Reihe .
+Airbus sagt , dass die konkur@@ ri@@ erende Version der A3@@ 50 350 Personen in einem 18 ##AT##-##AT## Zoll ##AT##-##AT## großen Wirtschafts@@ sitz be@@ fördern wird , der 9 auf dem Vor@@ ru@@ h@@ est@@ and aufgestellt wurde .
+Flugzeug@@ ri@@ esen handeln oft durch Werbung in der Fach@@ pres@@ se über technische Fragen .
+die Boeing 7@@ 7@@ 7@@ X ist mit mehr als 100 Auf@@ trägen voraussichtlich direkt an die Öffentlichkeit her@@ anzu@@ treten .
+vor kurzem hat sie den Beginn eines neuen Werbe@@ krie@@ ges vor@@ weg@@ genommen , indem sie Finanzi@@ ers eine R@@ ut@@ sche zeigte , die drei Menschen illu@@ stri@@ erte , die in einem Restaurant mit dem Titel " W@@ ould You Acc@@ ept This ? " zusammen@@ ge@@ worfen wurden .
+„ Boeing schlägt Lang@@ stre@@ cken@@ flüge auf Sit@@ zen vor , die enger sind als regionale Tur@@ bo@@ pro@@ ps “ , sagte John Le@@ ah@@ y , Verkaufs@@ leiter von Airbus .
+wenn sich die Di@@ äten ändern , werden die Menschen größer , aber die Sitz@@ plätze der Flugzeuge haben sich nicht radik@@ al verändert .
+zwischen den frühen 197@@ 0er Jahren , als die Boeing 7@@ 47 J@@ umb@@ o moderne Lang@@ stre@@ cken@@ reisen definierte , und der Jahrhunder@@ t@@ wende , stieg das Gewicht des durchschnit@@ tlichen amerikanischen 40@@ - auf 49 ##AT##-##AT## jährigen M@@ annes um 10 Prozent , laut US ##AT##-##AT## Gesundheits@@ daten .
+die T@@ ail@@ le des durchschnit@@ tlichen amerikanischen M@@ annes des 21. Jahrhunderts beträgt laut US ##AT##-##AT## Gesundheits@@ statisti@@ k 3@@ 9,@@ 7 Zoll .
+Airbus sagt , dass sein Ri@@ v@@ ale an einem Sitz@@ konzept aus den 5@@ 0er Jahren fes@@ th@@ ront , als die durchschnittliche Gur@@ te des neu get@@ auf@@ ten " Jet ##AT##-##AT## S@@ ets " enger war .
+Airbus sagt , dass es Forschung in Auftrag gegeben hat , die einen zusätzlichen Zoll an Sitz@@ breite vorschlägt , verbessert die Schlaf@@ qualität um 53 Prozent .
+Boeing be@@ streit@@ et die Zahlen von Airbus über Sitz@@ messungen und sagt , dass es nicht Sache der Hersteller ist , Entscheidungen darüber zu treffen , wie die Fluggesellschaften ein Gleichgewicht ab@@ schaffen und Einrichtungen ab@@ wick@@ eln .
+es sagt auch , dass Forschung zeigt Kab@@ inen@@ erfahr@@ ung hängt von mehr als der Breite eines Sit@@ zes .
+" es läuft wirklich darauf hinaus , den Fluggesellschaften Flexibilität zu bieten und ihnen zu ermöglichen , das zu tun , was sie ihrer Meinung nach tun müssen , um erfolgreich zu sein " , sagte der Boeing ##AT##-##AT## Kab@@ inen ##AT##-##AT## Exper@@ te K@@ ent Cra@@ ver .
+Sie wollen nicht , dass wir ihnen vorsch@@ reiben , was sie rent@@ abel macht .
+Sie kennen ihr Geschäft besser als alle anderen .
+bei Flug@@ blä@@ ttern geht es um mehr E@@ ll@@ en@@ bo@@ gen@@ raum , aber für Lieferanten ist es zunehmend ein Thema , das das Einkommen beeinflussen könnte .
+hinter dem Streit steht ein Wett@@ lauf um Flug@@ auf@@ träge mit mindestens 700 Milliarden Dollar geschätz@@ tem Geschäft zu List@@ en@@ preisen in den kommenden Jahrzehnten , genug , um die Sk@@ alen der US ##AT##-##AT## amerikanischen und europäischen Exporte zu ki@@ ppen .
+wie Re@@ u@@ ters im Juli erstmals berich@@ tete , ist das Sitz@@ layout genau das , was den Kampf zwischen den neuesten J@@ ets an@@ treibt .
+sowohl Airbus als auch Boeing fordern in ihren neuesten zwei@@ mot@@ ori@@ gen Lang@@ stre@@ cken@@ designs 20 Prozent bessere Effizienz pro Sitz als der Markt@@ führer in diesem Segment , die 365 ##AT##-##AT## Sit@@ ze Boeing 7@@ 77 ##AT##-##AT## 300@@ ER .
+Boeing 7@@ 77 ist die erste Boeing 7@@ 77 der Welt .
+der Gewinn an Stück@@ kosten wird im Vergleich zu 10 ##AT##-##AT## Ab@@ re@@ ast , die jetzt in Gebrauch ist , ges@@ per@@ r@@ t .
+" der Grund , warum Boeing dies tut , ist , mehr Sit@@ ze einzu@@ legen , um ihr Flugzeug wettbewerbs@@ fähiger mit unseren Produkten zu machen " , sagte Kevin Ken@@ ist@@ on , Leiter des Passagi@@ er@@ kom@@ forts bei Airbus in Europa .
+auf der anderen Seite deuten Analy@@ sten darauf hin , dass volle 10 ##AT##-##AT## Sit@@ ze ##AT##-##AT## Kab@@ inen für bestehende 7@@ 7@@ er für viele Passagiere für das di@@ chter@@ e Layout stimmen , das mit billi@@ geren Tari@@ fen einher@@ gehen kann .
+die Boeing 7@@ 77 ist die erste Boeing 7@@ 77 der Welt .
+Airbus und Boeing liefern keine Sit@@ ze , sondern bieten einen Katalog von Lieferanten für Fluggesellschaften an , aus denen sie wählen können .
+Glo@@ bus ##AT##-##AT## Ho@@ se ##AT##-##AT## Jet ##AT##-##AT## Verkäufer tragen sogar Band@@ maßnahmen , um konkur@@ ri@@ erende La@@ y@@ outs zu überprüfen .
+alle Bau@@ herr@@ en bieten Komfort und J@@ ets mit hoher D@@ ichte für Billi@@ g@@ flug@@ linien und regionale Reisen .
+Airbus bietet eine 10 ##AT##-##AT## min@@ ü@@ tige A3@@ 50 an , sagt aber , dass sie sie noch nicht verkauft hat .
+bis vor kurzem bet@@ onte Airbus die Notwendigkeit einer weiteren Anpassung der Kab@@ inen , indem es auf einigen seiner J@@ ets breit@@ ere G@@ ang@@ sit@@ ze anbietet .
+ohne die Unterstützung des einzigen anderen Herstell@@ ers großer moderner J@@ ets , sagen Experten , seine Forderung nach einem neuen Industri@@ est@@ and@@ ard ist wahrscheinlich nicht zu fliegen , könnte aber von einer Welle von 7@@ 7@@ 7@@ X Umsatz ab@@ lenken .
+die FA@@ A lock@@ ert die Beschränkungen für die Verwendung elektronischer Geräte in Flugzeugen - obwohl Ch@@ atten auf Mobiltelef@@ onen immer noch verboten sind .
+Kriegs@@ flug@@ zeuge greifen ein Geschäft russ@@ ischer Rak@@ eten in der Haf@@ enstadt Lat@@ akia an , sagt ein Beam@@ ter .
+es ist eine offensich@@ tliche Fortsetzung der israelischen Kampagne , die Waffen davon abzu@@ halten , sich in der M@@ ide@@ ast zu verbreiten .
+ein Bundes@@ k@@ lagen blockiert das Urteil eines Rich@@ ters , dass die um@@ strit@@ tene Tak@@ tik der N@@ Y@@ PD Minderheiten diskrimin@@ iert .
+fast 100 afri@@ kanische Migranten , die darauf hoffen , nach Algerien zu reisen , sterben an Dur@@ st , nachdem ihre beiden Last@@ wagen mitten in der Sahara zusammen@@ gebrochen sind .
+Experten sagen , dass Gewalt , die 14 Erwachsene und sieben Kinder tot ließ , nichts anderes ist als zu@@ fällige Chancen , kein Zeichen wachsen@@ der Gewalt in Amerika .
+anstatt von der Still@@ legung der US ##AT##-##AT## Regierung über@@ sch@@ at@@ tet zu werden , haben sich die Investoren auf das konzentriert , was wahrscheinlich noch wichtiger ist : die Federal Reserve .
+die kali@@ for@@ nische Frau plant , eine Art Zit@@ at herauszu@@ fordern , die besagt , dass die Internet ##AT##-##AT## an@@ geschlossene Bri@@ llen die Navigation erleichtern .
+Polizei sagen , sie haben ein Video , das Bürger@@ meister Ro@@ b Ford scheint zu zeigen , Rauchen eine R@@ isse Pf@@ ei@@ fe .
+selbst enge Verbün@@ dete halten die Dinge voneinander ab - und arbeiten jeden Win@@ kel , um herauszufinden , was zurück@@ gehalten wird .
+der Vati@@ kan möchte wissen , wie katho@@ li@@ sch auf der ganzen Welt sensible Themen wie Empfän@@ gnis@@ ver@@ hütung , Schei@@ dung und Schw@@ ul@@ en@@ pa@@ are behandelt .
+schwere Ver@@ letzte nach Kol@@ li@@ sion
+am frühen Freit@@ ag@@ nach@@ mittag wurden zwei Auto@@ fahrer in einem fron@@ t@@ alen Zusammen@@ stoß an der Landes@@ straße 44 schwer verletzt .
+die Polizei hat die Straße sofort völlig blockiert , konnte aber zunächst nicht viel zur Ursache des Un@@ falls sagen .
+Sie haben jedoch erwähnt , dass es verschiedene Zeu@@ gen@@ aus@@ sagen gab , die zuerst bewertet werden mussten .
+sicher ist , dass die 19 ##AT##-##AT## jährige wei@@ bliche Fahr@@ erin eines V@@ W Golf in Richtung Re@@ v@@ ens@@ dorf fährt und der 38 ##AT##-##AT## jährige Mann aus G@@ ett@@ or@@ f in seiner Hy@@ un@@ da@@ i zu ihr kam .
+die beiden Fahrzeuge kol@@ li@@ dierten , wobei die Frau so stark fest@@ sa@@ ß , dass der Feuer@@ dienst fast eine halbe Stunde brau@@ chte , um sie von den Fahrzeug@@ w@@ ra@@ cken zu befreien .
+zunächst blieb die eigentliche Ursache des Un@@ falls un@@ klar .
+beide unglück@@ lichen Parteien wurden in nahe gelegene Kranken@@ häuser gebracht .
+die Straße blieb etwa zwei Stunden lang vollständig blockiert .
+Feuer@@ bes@@ atz@@ ungen , die zur Ret@@ tung verlor@@ ener Wel@@ pen aufgerufen wurden , nachdem sie auf pre@@ k@@ ären Aus@@ fall in einem Stein@@ bruch 50 ft über dem Boden stecken
+Co@@ cker sp@@ ani@@ el Ru@@ by ist ab@@ gel@@ aufen , nachdem sie sich in einem kleinen Straßen@@ ab@@ stur@@ z befindet .
+drei Tage später wurde sie von einem Hun@@ de@@ wand@@ ler entdeckt , der im Stein@@ bruch gefangen ist .
+Feuer@@ wehr@@ leute besch@@ lag@@ nahmen Kli@@ ppen von An@@ ges@@ icht zu An@@ ges@@ icht auf den Hund aus einem bestimmten Tod .
+ein Wel@@ pe hatte eine glück@@ liche Flucht , nachdem die Feuer@@ bes@@ atz@@ ungen aufgefordert wurden , sie in Sicherheit zu heben , als sie sich irgendwie auf einer pre@@ k@@ ären Kli@@ ppe auf 50@@ ft fest@@ stecken ließ .
+der neun@@ mon@@ ati@@ ge Co@@ cker ##AT##-##AT## Sp@@ ani@@ el Ru@@ by war nach einem Straßen@@ crash am Sonn@@ ta@@ gn@@ ach@@ mittag ab@@ gef@@ eu@@ ert und über@@ lebte allein drei Tage , bevor er am Mittwoch aus einem Stein@@ bruch ger@@ et@@ tet wurde .
+ihre Besitzer Scott Al@@ der@@ son , 25 , und seine Freun@@ din Be@@ cky Hall , 20 , waren in Fla@@ pp@@ it Quar@@ ry in Den@@ hol@@ me , West Yor@@ k@@ shire , um wieder mit Ru@@ by vereint zu werden und West Yor@@ k@@ shire Fire and Res@@ cue Service zu danken .
+Sie hatten offen nach ihrem vermis@@ sten Hund gesucht und App@@ elle auf Social Net@@ working Sites veröffentlicht , nachdem sie nach dem kleinen Unfall in den Stein@@ bruch ge@@ flo@@ gen war .
+um 14.@@ 15 Uhr am Mittwoch beobach@@ tete ein Ad@@ ler ##AT##-##AT## E@@ ure ##AT##-##AT## Hun@@ de@@ w@@ anderer Ru@@ by auf dem He@@ bel im Stein@@ bruch , str@@ ün@@ dete 50@@ ft .
+ein Technical Res@@ cue Team von Cle@@ ck@@ he@@ aton Fire Station stür@@ zte in die Szene und ging hin@@ unter , um Ru@@ by zu retten .
+die Fach@@ hoch@@ schule An@@ dy C@@ lay@@ ton sagte : " Sie befindet sich in einer pre@@ k@@ ären Situation .
+Sie war mitten in der Kli@@ ppe - 50@@ ft von oben und unten .
+Sie bewe@@ gte während der Ret@@ tung keine Mus@@ keln - sie wurde fest einge@@ fr@@ oren .
+aber sie ist jetzt in Ordnung .
+danach isst sie K@@ ek@@ se .
+das war ein sehr un@@ gewöhn@@ licher Aufruf .
+die Tatsache , dass der Hund entdeckt wurde , ist unglaublich .
+der Spezialist für Techn@@ ische Rettungs@@ kräfte Peter L@@ au sagte : " Ru@@ by hatte eine sehr glück@@ liche Flucht . "
+das Potenzial bestand darin , dass sie sehr schwer verletzt oder schlechter hätte verletzt werden können .
+Ru@@ by wurde zur Überprüfung in die Tier@@ är@@ zte gebracht und wurde als gut als Er@@ schö@@ pfung und D@@ eh@@ y@@ dr@@ at@@ ation bezeichnet .
+Mis@@ s Hall aus H@@ ali@@ fax , West Yor@@ k@@ shire , sagte : " die Ret@@ tung zu beobachten war er@@ schreck@@ end . "
+ich konnte nicht glauben , dass sie überhaupt da war .
+es war erstaunlich , sie wieder in die Ar@@ me zu bekommen .
+der Tier@@ ar@@ zt sagte , dass sie wahrscheinlich gefallen wäre , wenn sie zu erschö@@ pft und zusammen@@ gebrochen wäre .
+die Feuer@@ wehr@@ leute waren erstaunlich .
+es war wirklich gew@@ agt , was sie taten .
+wir sind nur so dankbar , und jeder einzelne war absolut gewal@@ tig .
+Herr Al@@ der@@ son fü@@ gte aus K@@ eigh@@ ley hinzu : " wir für@@ chteten , dass sie fallen könnte , aber sie blieb dort . "
+die Feuer@@ wehr@@ leute waren bri@@ ll@@ ant .
+ich kann einfach nicht glauben , wo sie war .
+Bericht Obama ##AT##-##AT## Kampagne betra@@ chtete das Dum@@ ping von Bi@@ den für Hil@@ l@@ ary Clinton .
+laut der New York Times über@@ legte Präsident Barack Ob@@ amas eng@@ ste Berater heim@@ lich , Vizepräsident Jo@@ e Bi@@ den durch Hil@@ l@@ ary Clinton auf dem Ticket 2012 zu ersetzen .
+die Offen@@ bar@@ ung ist die bemerk@@ enswer@@ teste Bom@@ be von Mark Hal@@ per@@ in und John Hei@@ le@@ man@@ ns stark erwar@@ te@@ tem Kamp@@ ag@@ nen@@ tom@@ e 2012 , " Double D@@ own : Game Change 2012 " .
+die Times erhielt eine Kopie des kommenden Bu@@ ches und berich@@ tete Don@@ nerst@@ ag@@ abend , dass die führenden Mitarbeiter des Präsidenten " umfangreiche Gruppen@@ sitz@@ ungen und Wahl@@ ur@@ nen Ende 2011 " durchgeführt haben , um zu beurteilen , ob das Dum@@ ping Bi@@ den dazu beitragen könnte , Ob@@ amas sch@@ win@@ gende Wieder@@ wahl@@ hoff@@ nungen zu stärken .
diff --git a/tests/models/wnmt18/student_small_aan.expected b/tests/models/wnmt18/student_small_aan.expected
new file mode 100644
index 0000000..2a1412e
--- /dev/null
+++ b/tests/models/wnmt18/student_small_aan.expected
@@ -0,0 +1,100 @@
+Or@@ land@@ o Blo@@ om und Mir@@ anda Ker@@ r lieben sich noch immer gegenseitig .
+Schauspieler Or@@ land@@ o Blo@@ om und Model Mir@@ anda Ker@@ r wollen ihre eigenen Wege gehen .
+in einem Interview hat Blo@@ om jedoch gesagt , dass er und Ker@@ r sich immer noch lieben .
+Mir@@ anda Ker@@ r und Or@@ land@@ o Blo@@ om sind Eltern von zwei@@ jährigen Fl@@ ynn .
+Schauspieler Or@@ land@@ o Blo@@ om kün@@ digte seine Trennung von seiner Frau , Super@@ modell Mir@@ anda Ker@@ r .
+in einem Interview mit dem US ##AT##-##AT## Journalisten K@@ atie Cou@@ ric , das am Freitag ( Orts@@ zeit ) ausge@@ strahlt werden soll , sagte Blo@@ om : " manchmal geht das Leben nicht genau so , wie wir planen oder hoffen " .
+er und Ker@@ r lieben sich immer noch , bet@@ on@@ ten den 36 ##AT##-##AT## jährigen .
+" wir werden einander unterstützen und uns als Eltern nach Fl@@ ynn lieben " .
+Ker@@ r und Blo@@ om sind seit 2010 verhei@@ rat@@ et und ihr Sohn Fl@@ ynn wurde 2011 geboren .
+J@@ et@@ macher feu@@ chten über die Sitz@@ breite mit großen Auf@@ trägen auf dem Spiel .
+auf Lang@@ stre@@ cken@@ flügen hat sich zwischen führenden Flug@@ zeu@@ gh@@ er@@ stellern über die Breite von Sitz@@ plätzen der touristischen Klasse er@@ sti@@ ckt , was den Ton für eine bit@@ tere Kon@@ fron@@ tation auf der Dubai Air@@ show in diesem Monat gesetzt hat .
+der Streit konzentriert sich auf die Sitz@@ breite , die auf Lang@@ stre@@ cken@@ flügen für Passagiere der Wirtschaft bereitgestellt werden - nicht immer die , die von Fluggesellschaften am besten ge@@ hö@@ flich sind , aber deren zu@@ gewi@@ es@@ ener Raum den Schlüssel zu Effizi@@ enz@@ an@@ sprüchen für die neuesten J@@ ets von Airbus SA@@ S und Boeing Co. hält .
+Airbus hat diese Woche einen Industri@@ est@@ and@@ ard gefordert , der einen Platz von mindestens 18 Zoll ( 46 cm ) in Wirtschafts@@ kab@@ inen vorsieht , aber seine US ##AT##-##AT## Er@@ z@@ ri@@ v@@ ale Boeing sagt , dass es Sache der Fluggesellschaften sein sollte , zu entscheiden .
+der Streit kommt , da Flugzeug@@ hersteller darum tra@@ fen , immer größere Versionen ihrer zwei@@ mot@@ ori@@ gen Lang@@ stre@@ cken@@ flug@@ zeuge zu verkaufen , wobei potenzi@@ ell Rek@@ ord@@ auf@@ träge auf der Veranstaltung vom 17. bis 21. November erwartet werden .
+wie die Rück@@ seite des Flug@@ zeu@@ gs - insbesondere ob die Sitz@@ plätze 9 oder 10 ab@@ sto@@ ß@@ end sind - ist von zentraler Bedeutung für die wirtschaftlichen Leistungs@@ ansprüche für neue " mini ##AT##-##AT## j@@ umb@@ o " Jet ##AT##-##AT## Designs .
+Boeing sagt , seine über@@ arbeiteten " 7@@ 7@@ 7@@ X " wird 4@@ 06 Menschen auf der Grundlage von Wirtschafts@@ sitzen mehr als 17 Zoll breit und in jeder Reihe 10 in jeder Reihe .
+Airbus sagt , dass die konkur@@ ri@@ erende Version der A3@@ 50 350 Mitarbeiter auf einem 18 ##AT##-##AT## Zoll ##AT##-##AT## weiten Wirtschafts@@ sitz be@@ fördern wird , der 9 ver@@ altet ist .
+Flugzeug@@ ri@@ esen handeln oft in technischen Fragen durch Werbung in der Fach@@ pres@@ se .
+jetzt appelli@@ ert Airbus direkt vor der Dubai Air@@ show an die Öffentlichkeit , wo die 7@@ 7@@ X mit mehr als 100 Bestellungen dom@@ inieren wird .
+es hat vor kurzem den Beginn eines neuen Werbe@@ krie@@ gs vor@@ weg@@ genommen , indem er Finanzi@@ ers eine R@@ ut@@ sche zeigte , in der drei Personen in einem Restaurant zusammen@@ ge@@ qu@@ et@@ tet wurden , mit dem Titel " W@@ ould You Acc@@ ept This ? " .
+" Boeing schlägt Fern@@ fliegen in Sit@@ zen vor , die enger sind als regionale Tur@@ bo@@ pro@@ ps “ , sagte John Le@@ ah@@ y , Vertriebs@@ leiter von Airbus .
+mit dem Wechsel der Di@@ äten werden die Menschen größer , aber die Plat@@ z@@ st@@ ühle hat sich nicht radik@@ al verändert .
+zwischen den frühen 197@@ 0er Jahren , als die Boeing 7@@ 47 j@@ umb@@ o definiert moderne Lang@@ stre@@ cken@@ reisen , und die Jahrhunder@@ t@@ wende , stieg das Gewicht des durchschnit@@ tlichen amerikanischen 40@@ - bis 49 ##AT##-##AT## jährigen M@@ annes um 10 Prozent , so die US ##AT##-##AT## Gesundheits@@ abteilung Data .
+die T@@ ail@@ le des durchschnit@@ tlichen amerikanischen M@@ annes des 21. Jahrhunderts beträgt nach Angaben der US ##AT##-##AT## Gesundheits@@ statisti@@ k 3@@ 9,@@ 7 Zoll .
+Airbus sagt , sein Ri@@ v@@ ale fes@@ th@@ ront an einem Sitz@@ konzept aus den 5@@ 0er Jahren , als die durchschnittliche G@@ ür@@ tel des neu get@@ auf@@ ten " Jet ##AT##-##AT## S@@ ets " enger war .
+Airbus sagt , dass es Untersuchungen in Auftrag gegeben hat , die darauf hin@@ deuten , dass ein zusätzlicher Zoll an Sitz@@ breite die Schlaf@@ qualität um 53 Prozent verbessert .
+Boeing be@@ streit@@ et die Zahlen von Airbus über Sitz@@ messungen und sagt , dass es nicht Sache der Hersteller ist , Entscheidungen darüber zu treffen , wie Fluggesellschaften die Flug@@ preise und -@@ einrichtungen in Einklang bringen .
+es sagt auch , dass die Forschung zeigt , dass die Erfahrung der Kab@@ ine von mehr als der Breite eines Sit@@ zes abhängt .
+" es läuft wirklich darauf hinaus , den Fluggesellschaften Flexibilität zu bieten und ihnen die Möglichkeit zu geben , die Dinge zu tun , die sie ihrer Meinung nach tun müssen , um erfolgreich zu sein " , sagte der Boeing ##AT##-##AT## Kab@@ inen ##AT##-##AT## Exper@@ te K@@ ent Cra@@ ver .
+Sie wollen nicht , dass wir ihnen dik@@ tieren , was sie rent@@ abel macht .
+Sie kennen ihr Geschäft besser als jeder andere .
+bei Fl@@ yer geht es um mehr E@@ ll@@ en@@ bo@@ gen@@ raum , aber für Lieferanten ist es zunehmend ein Thema , das das Ergebnis beeinflussen könnte .
+hinter dem Streit steht ein Wett@@ lauf um Flug@@ auf@@ träge mit mindestens 700 Milliarden Dollar an geschätz@@ ten Geschäften zu List@@ en@@ preisen in den kommenden Jahrzehnten , genug , um die Sk@@ alen der US ##AT##-##AT## amerikanischen und europäischen Exporte zu ki@@ ppen .
+wie Re@@ u@@ ters im Juli zum ersten Mal berich@@ tete , ist das Sitz@@ layout genau das , was die Schlacht zwischen den neuesten J@@ ets treibt .
+sowohl Airbus als auch Boeing beanspru@@ chen 20 Prozent bessere Effizienz pro Sitz in ihren neuesten zwei@@ mot@@ ori@@ gen Lang@@ stre@@ cken@@ designs als der Markt@@ führer in diesem Segment , der Boeing 7@@ 77 ##AT##-##AT## 300@@ ER mit 365 Sit@@ zen .
+Boeing ist die erste Boeing 7@@ 77 ##AT##-##AT## 200 , die in der Lage ist , die Boeing 7@@ 7@@ 77 ##AT##-##AT## 200 zu ver@@ gleicht .
+der Gewinn an Stück@@ kosten wird im Vergleich zu 10 ##AT##-##AT## ab@@ re@@ ast jetzt in Gebrauch .
+" der Grund , warum Boeing dies tut , ist , mehr Sit@@ ze einzu@@ stri@@ cken , um ihr Flugzeug wettbewerbs@@ fähiger mit unseren Produkten zu machen " , sagte Kevin Ken@@ ist@@ on , Leiter des Passagi@@ er@@ kom@@ forts bei den europäischen Airbus in Europa .
+auf der anderen Seite sagen Analy@@ sten , dass volle 10 ##AT##-##AT## Sit@@ ze ##AT##-##AT## pro ##AT##-##AT## Reihe ##AT##-##AT## Kab@@ inen für bestehende 7@@ 7@@ er ##AT##-##AT## Kab@@ inen meinen , dass viele Passagiere für das Den@@ ser ##AT##-##AT## Layout stimmen , das mit billi@@ geren Tari@@ fen einher@@ gehen kann .
+" 18 Zoll Sitz@@ breite wären groß@@ artig für die Passagiere , aber die Realität ist , dass aus geschäft@@ lichen Punkt des Airbus ##AT##-##AT## Vorschlags von der Bedrohung durch die 7@@ 77 ange@@ trieben wird " , sagte der Innen@@ am@@ si@@ ker Mary Kir@@ by , Gründer und Her@@ ausge@@ ber des Run@@ way Gir@@ l Network .
+Airbus und Boeing liefern keine Sit@@ ze , sondern bieten einen Katalog von Lieferanten für Fluggesellschaften an , aus denen Sie wählen können .
+Glo@@ bus ##AT##-##AT## T@@ inten@@ stra@@ hl@@ verk@@ äufer tragen sogar Band@@ maßnahmen , um konkur@@ ri@@ erende La@@ y@@ outs zu überprüfen .
+alle Bau@@ herr@@ en bieten auch J@@ ets mit hoher D@@ ichte ##AT##-##AT## La@@ y@@ outs für Billi@@ g@@ flug@@ gesellschaften und regionale Reisen .
+Airbus bietet eine 10 ##AT##-##AT## jährige A3@@ 50 an , sagt aber , sie hat sie noch nicht verkauft .
+bis vor kurzem bet@@ onte Airbus die Notwendigkeit einer größeren Anpassung der Kab@@ inen , indem es breit@@ ere A@@ is@@ le ##AT##-##AT## Sit@@ ze auf einigen seiner J@@ ets bot .
+ohne die Unterstützung des einzigen anderen Herstell@@ ers großer moderner J@@ ets sagen Experten , dass ihre Forderung nach einem neuen Industri@@ est@@ and@@ ard wahrscheinlich nicht fliegen wird , sondern könnte von einer Welle von 7@@ 7@@ 7@@ X Verk@@ äu@@ fen ab@@ lenken .
+die FA@@ A lock@@ ert die Beschränkungen für die Verwendung elektronischer Geräte in Flugzeugen - obwohl das Ch@@ atten auf Mobiltelef@@ onen weiterhin verboten ist .
+Kriegs@@ flug@@ zeuge greifen einen Laden russ@@ ischer Rak@@ eten in der Haf@@ enstadt Lat@@ akia an , so ein Beam@@ ter .
+es ist eine offensich@@ tliche Fortsetzung der israelischen Kampagne , die Waffen davon abzu@@ halten , sich im M@@ ide@@ ast zu vermehr@@ en .
+ein föder@@ ales Beruf@@ ungs@@ gericht blockiert das Urteil eines Rich@@ ters , dass die um@@ strit@@ tene Tak@@ tik der N@@ Y@@ PD Minderheiten diskrimin@@ iert .
+fast 100 afri@@ kanische Migranten , die hoffen , nach dem Dur@@ st nach dem Nieder@@ gang ihrer beiden Last@@ kraft@@ wagen mitten in der Sahara nach Algerien zu reisen , sterben an Dur@@
+Experten sagen , Gewalt , die 14 Erwachsene und sieben Kinder tot gemacht hat , ist nichts anderes als zu@@ fällige Chance , kein Zeichen wachsen@@ der Gewalt in Amerika .
+anstatt von der Absch@@ ot@@ tung der US ##AT##-##AT## Regierung ange@@ p@@ eit@@ scht zu werden , konzent@@ rierten sich die Investoren auf das , was wahrscheinlich noch wichtiger ist : die Federal Reserve .
+die kali@@ for@@ nische Frau plant , ein vielleicht erstklassi@@ ges Zit@@ at herauszu@@ fordern , das besagt , dass die Internet ##AT##-##AT## verbundenen Bri@@ llen die Navigation erleichtern .
+Polizei sagen , sie haben ein Video , das zu zeigen , Bürger@@ meister Ro@@ b Ford rau@@ chen eine R@@ iss Pi@@ pe .
+selbst enge Verbün@@ dete halten die Dinge voneinander - und arbeiten jeden Win@@ kel , um herauszufinden , was zurück@@ gehalten wird .
+der Vati@@ kan möchte wissen , wie katho@@ lische Gemeinden auf der ganzen Welt sensible Themen wie Empfän@@ gnis@@ ver@@ hütung , Schei@@ dung und schw@@ ule Paare behandeln .
+Personen , die nach Kol@@ li@@ sionen schwer verletzt wurden
+am frühen Freit@@ ag@@ nach@@ mittag wurden zwei Auto@@ fahrer in einer Kol@@ li@@ sion an der Landes@@ straße 44 schwer verletzt .
+die Polizei hat die Straße sofort vollständig blockiert , konnte aber zunächst nicht viel zur Un@@ fall@@ ur@@ sache Stellung nehmen .
+Sie haben jedoch erwähnt , dass es verschiedene Zeu@@ gen@@ aus@@ sagen gab , die zunächst bewertet werden mussten .
+sicher ist , dass die 19 ##AT##-##AT## jährige wei@@ bliche Fahrer eines V@@ W Golf in Richtung Re@@ v@@ ens@@ dorf gefahren ist und der 38 ##AT##-##AT## jährige Mann aus G@@ ett@@ or@@ f in seinem Hy@@ un@@ da@@ i zu ihr kam .
+die beiden Fahrzeuge kol@@ li@@ dierten , wobei die Frau so stark fest@@ gefahren war , dass es fast eine halbe Stunde dau@@ erte , um sie von den W@@ ra@@ ck@@ agen des Fahrzeu@@ gs zu befreien .
+zunächst blieb die eigentliche Ursache des Un@@ falls un@@ klar .
+beide unglück@@ lichen Parteien wurden in nahe gelegene Kranken@@ häuser gebracht .
+die Straße blieb etwa zwei Stunden lang vollständig blockiert .
+Feuer@@ bes@@ atz@@ ungen forderten , verlor@@ enen Wel@@ pen zu retten , nachdem sie 50 ft über dem Boden auf pre@@ k@@ ären Le@@ dge in einem Stein@@ bruch fest@@ gefahren war .
+Co@@ cker Sp@@ ani@@ el Ru@@ by war ab@@ gebrochen , nachdem sie sich in einem kleinen Straßen@@ ab@@ stur@@ z befindet .
+Sie wurde drei Tage später von einem Hun@@ de@@ w@@ anderer entdeckt , der im Stein@@ bruch gefangen ist .
+Feuer@@ wehr@@ leute greifen die Kli@@ ppe nach Gesicht ab , um den Hund von einem bestimmten Tod zu nehmen .
+ein Wel@@ pe hatte eine glück@@ liche Flucht , nachdem die Feuer@@ bes@@ atz@@ ungen aufgerufen wurden , sie in Sicherheit zu heben , als sie sich irgendwie 50 m auf eine pre@@ k@@ äre Kli@@ ppe auf@@ hielt .
+der neun@@ mon@@ ati@@ ge Co@@ cker ##AT##-##AT## Sp@@ ani@@ el Ru@@ by war nach einem Straßen@@ ab@@ stur@@ z am Sonn@@ ta@@ gn@@ ach@@ mittag ab@@ gest@@ ran@@ det und über@@ lebte drei Tage allein , bevor er am Mittwoch aus einem Stein@@ bruch ger@@ et@@ tet wurde .
+ihre Besitzer Scott Al@@ der@@ son , 25 , und seine Freun@@ din Be@@ cky Hall , 20 , waren im Fla@@ pp@@ it Quar@@ ry in Den@@ hol@@ me , West Yor@@ k@@ shire , um mit Ru@@ by wieder@@ verein@@ igt zu werden und haben West Yor@@ k@@ shire Fire and Res@@ cue Service ge@@ dankt .
+Sie hatten offen nach ihrem fehlenden Hund gesucht und App@@ elle auf Social Net@@ working ##AT##-##AT## Sites ge@@ post@@ et , nachdem sie nach dem kleinen Unfall in den Stein@@ bruch geraten war .
+um 14.@@ 15 Uhr am Mittwoch entdeckt ein Ad@@ ler@@ h@@ und Ru@@ by auf der L@@ eine im Stein@@ bruch , 50@@ ft gest@@ ran@@ nt .
+ein techn@@ isches Rettungs@@ team von Cle@@ ck@@ he@@ aton Fire Station stür@@ zte zur Szene und wurde ab@@ genommen , um Ru@@ by zu retten , und benutz@@ te eine Heim@@ tier@@ rö@@ hre , um sie auf die Kli@@ ppe zu bringen .
+der Fach@@ mann für Techn@@ ische Rettungs@@ beam@@ te An@@ dy C@@ lay@@ ton sagte : " Sie war in einer pre@@ k@@ ären Situation .
+Sie war mitten in der Kli@@ ppe - 50@@ ft von oben und unten .
+Sie bewe@@ gte während der Ret@@ tung keine Mus@@ kul@@ atur - sie wurde fest einge@@ fr@@ oren .
+aber sie ist jetzt in Ordnung .
+danach fres@@ ste sie K@@ ek@@ se .
+das war ein sehr un@@ gewöhn@@ licher Aufruf .
+die Tatsache , dass der Hund entdeckt wurde , ist unglaublich .
+der Fach@@ mann Peter L@@ au sagte : " Ru@@ by hatte eine glück@@ liche Flucht " .
+das Potenzial bestand darin , dass sie sehr schwer verletzt oder schlimmer hätte verletzt werden können .
+Ru@@ by wurde für einen Check ##AT##-##AT## up in die Tier@@ är@@ zte gebracht und wurde als gut als Er@@ schö@@ pfung und D@@ eh@@ y@@ dr@@ at@@ ation festgestellt .
+Mis@@ s Hall aus H@@ ali@@ fax , West Yor@@ k@@ shire , sagte : " die Ret@@ tung zu beobachten , war er@@ schreck@@ end . "
+ich konnte mir nicht vorstellen , dass sie überhaupt da oben war .
+es war erstaunlich , sie wieder in die Ar@@ me zu bekommen .
+der Tier@@ ar@@ zt sagte , dass sie , wenn sie zu erschö@@ pft und zusammen@@ gebrochen würde , wahrscheinlich gefallen wäre .
+die Feuer@@ wehr@@ leute waren erstaunlich .
+es war wirklich gew@@ agt , was sie taten .
+wir sind einfach so dankbar , und jeder einzelne war absolut gewal@@ tig .
+Herr Al@@ der@@ son aus K@@ eigh@@ ley fü@@ gte hinzu : " wir hatten Angst , dass sie fallen könnte , aber sie blieb dort . "
+die Feuer@@ wehr@@ leute waren bri@@ ll@@ ant .
+ich kann mir einfach nicht vorstellen , wo sie war .
+Bericht : Obama ##AT##-##AT## Kampagne in Erwägung , dass Dum@@ ping Bi@@ den für Hil@@ l@@ ary Clinton
+Präsident Barack Ob@@ amas eng@@ ste Berater über@@ nahmen heim@@ lich , Vizepräsident Jo@@ e Bi@@ den auf dem Ticket 2012 auf dem Ticket 2012 zu ersetzen .
+die Offen@@ bar@@ ung ist die bemerk@@ enswer@@ teste Bom@@ be von Mark Hal@@ per@@ in und John Hei@@ le@@ man@@ ns stark erwarteten Wahl@@ kamp@@ f@@ gra@@ u 2012 , " Double D@@ own : Game Change 2012 " .
+die Times erhielt eine Kopie des kommenden Bu@@ ches und berich@@ tete am Don@@ nerst@@ ag@@ abend , dass die Spitzen@@ hilfen des Präsidenten " umfangreiche Gruppen@@ sitz@@ ungen und Wahl@@ ungen Ende 2011 " durchgeführt haben , um zu beurteilen , ob das Dum@@ ping Bi@@ den dazu beitragen könnte , Ob@@ amas sch@@ win@@ denden Wieder@@ wahl@@ hoff@@ ungen zu stärken .
diff --git a/tests/models/wnmt18/test_student_small.sh b/tests/models/wnmt18/test_student_small.sh
new file mode 100644
index 0000000..209aecf
--- /dev/null
+++ b/tests/models/wnmt18/test_student_small.sh
@@ -0,0 +1,19 @@
+#!/bin/bash
+
+# Exit on error
+set -e
+
+model=model.student.small
+
+# Run test
+cat newstest2014.in | $MRT_MARIAN/build/marian-decoder \
+    -m $MRT_MODELS/wnmt18/$model/model.npz \
+    -v $MRT_MODELS/wnmt18/vocab.ende.{yml,yml} \
+    --mini-batch-words 384 --mini-batch 100 --maxi-batch 100 --maxi-batch-sort src -b 1 \
+    --shortlist $MRT_MODELS/wnmt18/lex.s2t 100 75 --cpu-threads=1 --skip-cost --max-length-factor 1.2 \
+    > student_small.out
+
+diff student_small.out student_small.expected > student_small.diff
+
+# Exit with success code
+exit 0
diff --git a/tests/models/wnmt18/test_student_small_aan.sh b/tests/models/wnmt18/test_student_small_aan.sh
new file mode 100644
index 0000000..e2b8fe6
--- /dev/null
+++ b/tests/models/wnmt18/test_student_small_aan.sh
@@ -0,0 +1,19 @@
+#!/bin/bash
+
+# Exit on error
+set -e
+
+model=model.student.small.aan
+
+# Run test
+cat newstest2014.in | $MRT_MARIAN/build/marian-decoder \
+    -m $MRT_MODELS/wnmt18/$model/model.npz \
+    -v $MRT_MODELS/wnmt18/vocab.ende.{yml,yml} \
+    --mini-batch-words 384 --mini-batch 100 --maxi-batch 100 --maxi-batch-sort src -b 1 \
+    --shortlist $MRT_MODELS/wnmt18/lex.s2t 100 75 --cpu-threads=1 --skip-cost --max-length-factor 1.2 \
+    > student_small_aan.out
+
+diff student_small_aan.out student_small_aan.expected > student_small_aan.diff
+
+# Exit with success code
+exit 0
diff --git a/tests/models/wnmt18/test_student_small_aan_optimize.sh b/tests/models/wnmt18/test_student_small_aan_optimize.sh
new file mode 100644
index 0000000..c002913
--- /dev/null
+++ b/tests/models/wnmt18/test_student_small_aan_optimize.sh
@@ -0,0 +1,24 @@
+#!/bin/bash
+
+# Exit on error
+set -e
+
+model=model.student.small.aan
+
+# Run test
+cat newstest2014.in | $MRT_MARIAN/build/marian-decoder \
+    -m $MRT_MODELS/wnmt18/$model/model.npz \
+    -v $MRT_MODELS/wnmt18/vocab.ende.{yml,yml} \
+    --mini-batch-words 384 --mini-batch 100 --maxi-batch 100 --maxi-batch-sort src -b 1 --optimize \
+    --shortlist $MRT_MODELS/wnmt18/lex.s2t 100 75 --cpu-threads=1 --skip-cost --max-length-factor 1.2 \
+    > optimize_aan.out
+
+cat optimize_aan.out | perl -pe 's/@@ //g' \
+    | $MRT_TOOLS/moses-scripts/scripts/recaser/detruecase.perl \
+    | $MRT_TOOLS/moses-scripts/scripts/generic/multi-bleu.perl newstest2014.ref \
+    | $MRT_TOOLS/extract-bleu.sh > optimize_aan.bleu
+
+$MRT_TOOLS/diff-floats.py optimize_aan.bleu optimize_aan.bleu.expected -p 0.1 > optimize_aan.bleu.diff
+
+# Exit with success code
+exit 0
diff --git a/tools/extract-bleu.sh b/tools/extract-bleu.sh
new file mode 100755
index 0000000..2ef17f5
--- /dev/null
+++ b/tools/extract-bleu.sh
@@ -0,0 +1,2 @@
+#!/bin/bash
+sed -r "s/^BLEU = ([0-9]+\.[0-9]+), .*/\1/"