diff options
author | Roman Grundkiewicz <rgrundki@exseed.ed.ac.uk> | 2018-06-18 11:11:02 +0300 |
---|---|---|
committer | Roman Grundkiewicz <rgrundki@exseed.ed.ac.uk> | 2018-06-18 11:11:02 +0300 |
commit | 74dab8c4ef3c5d46fe7c70a3f399c2b00897b5d9 (patch) | |
tree | e74c36d516b31a5531ada516445eda7a7eb98f28 | |
parent | 7f95e5757719110785527eafbea326dacffe611b (diff) |
Add tests with WNMT18 models
-rw-r--r-- | .gitignore | 1 | ||||
-rw-r--r-- | Makefile | 1 | ||||
-rw-r--r-- | models/download-wnmt18.sh | 4 | ||||
-rw-r--r-- | tests/models/wnmt18/.gitignore | 5 | ||||
-rw-r--r-- | tests/models/wnmt18/optimize_aan.bleu.expected | 1 | ||||
-rw-r--r-- | tests/models/wnmt18/setup.sh | 9 | ||||
-rw-r--r-- | tests/models/wnmt18/student_small.expected | 100 | ||||
-rw-r--r-- | tests/models/wnmt18/student_small_aan.expected | 100 | ||||
-rw-r--r-- | tests/models/wnmt18/test_student_small.sh | 19 | ||||
-rw-r--r-- | tests/models/wnmt18/test_student_small_aan.sh | 19 | ||||
-rw-r--r-- | tests/models/wnmt18/test_student_small_aan_optimize.sh | 24 | ||||
-rwxr-xr-x | tools/extract-bleu.sh | 2 |
12 files changed, 285 insertions, 0 deletions
@@ -23,6 +23,7 @@ models/wmt17_systems/en-de models/wmt17_systems/scripts models/wmt17_systems/vars models/char-s2s +models/wnmt18 data/*/corpus.* data/*/*.bpe @@ -38,6 +38,7 @@ models: cd $@ && bash ./download-wmt16.sh cd $@ && bash ./download-wmt17.sh cd $@ && bash ./download-char-s2s.sh + cd $@ && bash ./download-wnmt18.sh data: mkdir -p $@ diff --git a/models/download-wnmt18.sh b/models/download-wnmt18.sh new file mode 100644 index 0000000..d79f28c --- /dev/null +++ b/models/download-wnmt18.sh @@ -0,0 +1,4 @@ +#!/bin/bash + +# Download WNMT18 models +wget -nc -nv -r -np -e robots=off -nH --cut-dirs=3 -R index.html* http://data.statmt.org/romang/marian-regression-tests/models/wnmt18/ diff --git a/tests/models/wnmt18/.gitignore b/tests/models/wnmt18/.gitignore new file mode 100644 index 0000000..065225a --- /dev/null +++ b/tests/models/wnmt18/.gitignore @@ -0,0 +1,5 @@ +newstest2014.in +newstest2014.ref + +optimize.bleu +optimize_aan.bleu diff --git a/tests/models/wnmt18/optimize_aan.bleu.expected b/tests/models/wnmt18/optimize_aan.bleu.expected new file mode 100644 index 0000000..ba7ca5e --- /dev/null +++ b/tests/models/wnmt18/optimize_aan.bleu.expected @@ -0,0 +1 @@ +25.55 diff --git a/tests/models/wnmt18/setup.sh b/tests/models/wnmt18/setup.sh new file mode 100644 index 0000000..45654f9 --- /dev/null +++ b/tests/models/wnmt18/setup.sh @@ -0,0 +1,9 @@ +test -f $MRT_MODELS/wnmt18/model.student.small/model.npz || exit 1 +test -f $MRT_MODELS/wnmt18/model.student.small.aan/model.npz || exit 1 + +test -f $MRT_MODELS/wnmt18/lex.s2t || exit 1 +test -f $MRT_MODELS/wnmt18/newstest2014.bpe.en || exit 1 + +head -n 100 $MRT_MODELS/wnmt18/newstest2014.bpe.en > newstest2014.in +head -n 100 $MRT_MODELS/wnmt18/newstest2014.de > newstest2014.ref + diff --git a/tests/models/wnmt18/student_small.expected b/tests/models/wnmt18/student_small.expected new file mode 100644 index 0000000..c5649a9 --- /dev/null +++ b/tests/models/wnmt18/student_small.expected @@ -0,0 +1,100 @@ +Or@@ land@@ o Blo@@ om und Mir@@ anda Ker@@ r lieben sich immer noch . +Schauspieler Or@@ land@@ o Blo@@ om und Model Mir@@ anda Ker@@ r wollen ihre eigenen Wege gehen . +in einem Interview sagte Blo@@ om jedoch , dass er und Ker@@ r einander immer noch lieben . +Mir@@ anda Ker@@ r und Or@@ land@@ o Blo@@ om sind Eltern im zwei@@ jährigen Fl@@ ynn . +der Schauspieler Or@@ land@@ o Blo@@ om kün@@ digte seine Trennung von seiner Frau , Super@@ model Mir@@ anda Ker@@ r . +in einem Interview mit der US ##AT##-##AT## Journ@@ alisti@@ n K@@ atie Cou@@ ric , die am Freitag ( Orts@@ zeit ) ausge@@ strahlt werden soll , sagte Blo@@ om : " manchmal geht das Leben nicht genau so , wie wir planen oder hoffen " . +er und Ker@@ r lieben sich immer noch , bet@@ on@@ ten den 36 ##AT##-##AT## J@@ ähri@@ gen . +" wir werden einander unterstützen und uns als Eltern von Fl@@ ynn lieben " . +Ker@@ r und Blo@@ om sind seit 2010 verhei@@ rat@@ et und ihr Sohn Fl@@ ynn wurde 2011 geboren . +Jet ##AT##-##AT## Hersteller feu@@ ern die Sitz@@ breite mit großen Auf@@ trägen auf dem Spiel . +auf Lang@@ stre@@ cken@@ flügen ist zwischen führenden Flug@@ zeu@@ gh@@ er@@ stellern eine Reihe über die Breite der Sit@@ ze der Touristen@@ klasse auf@@ get@@ au@@ cht , die den Ton für eine bit@@ tere Kon@@ fron@@ tation auf der Dubai Air@@ show in diesem Monat vor@@ gibt . +der Streit konzentriert sich auf die Sitz@@ breite , die auf Lang@@ stre@@ cken@@ flügen für Economy ##AT##-##AT## Passagiere angeboten wird - nicht immer diejenigen , die am meisten von Fluggesellschaften ho@@ fft werden , deren zu@@ gewi@@ es@@ ener Platz aber den Schlüssel zu Effizi@@ enz@@ an@@ sprüchen für die neuesten J@@ ets von Airbus SA@@ S und Boeing Co. +Airbus hat diese Woche einen Industri@@ est@@ and@@ ard gefordert , der einen Sitz von mindestens 18 Zoll ( 46 cm ) in Wirtschafts@@ kab@@ inen vorsieht , aber sein US ##AT##-##AT## Bo@@ gen@@ ri@@ v@@ ale Boeing sagt , dass es für Fluggesellschaften gelten sollte . +der Streit kommt , wenn Flug@@ zeu@@ gh@@ er@@ steller darum r@@ ingen , immer größere Versionen ihres zwei@@ mot@@ ori@@ gen Fern@@ flug@@ zeu@@ gs zu verkaufen , wobei potenzi@@ ell Rek@@ ord@@ auf@@ träge auf der Veranstaltung vom 17. bis 21. November zu erwarten sind . +wie die Rück@@ seite des Flug@@ zeu@@ gs angelegt ist - insbesondere ob die Sitz@@ plätze 9 oder 10 bel@@ aufen sind - ist von zentraler Bedeutung für die wirtschaftlichen Leistungs@@ ansprüche für neue " mini ##AT##-##AT## j@@ umb@@ o " Jet ##AT##-##AT## Designs . +Boeing sagt , dass seine über@@ arbeitete " 7@@ 7@@ 7@@ X " 4@@ 06 Personen auf der Grundlage von Wirtschafts@@ sitzen mehr als 17 Zoll breit halten und 10 in jeder Reihe . +Airbus sagt , dass die konkur@@ ri@@ erende Version der A3@@ 50 350 Personen in einem 18 ##AT##-##AT## Zoll ##AT##-##AT## großen Wirtschafts@@ sitz be@@ fördern wird , der 9 auf dem Vor@@ ru@@ h@@ est@@ and aufgestellt wurde . +Flugzeug@@ ri@@ esen handeln oft durch Werbung in der Fach@@ pres@@ se über technische Fragen . +die Boeing 7@@ 7@@ 7@@ X ist mit mehr als 100 Auf@@ trägen voraussichtlich direkt an die Öffentlichkeit her@@ anzu@@ treten . +vor kurzem hat sie den Beginn eines neuen Werbe@@ krie@@ ges vor@@ weg@@ genommen , indem sie Finanzi@@ ers eine R@@ ut@@ sche zeigte , die drei Menschen illu@@ stri@@ erte , die in einem Restaurant mit dem Titel " W@@ ould You Acc@@ ept This ? " zusammen@@ ge@@ worfen wurden . +„ Boeing schlägt Lang@@ stre@@ cken@@ flüge auf Sit@@ zen vor , die enger sind als regionale Tur@@ bo@@ pro@@ ps “ , sagte John Le@@ ah@@ y , Verkaufs@@ leiter von Airbus . +wenn sich die Di@@ äten ändern , werden die Menschen größer , aber die Sitz@@ plätze der Flugzeuge haben sich nicht radik@@ al verändert . +zwischen den frühen 197@@ 0er Jahren , als die Boeing 7@@ 47 J@@ umb@@ o moderne Lang@@ stre@@ cken@@ reisen definierte , und der Jahrhunder@@ t@@ wende , stieg das Gewicht des durchschnit@@ tlichen amerikanischen 40@@ - auf 49 ##AT##-##AT## jährigen M@@ annes um 10 Prozent , laut US ##AT##-##AT## Gesundheits@@ daten . +die T@@ ail@@ le des durchschnit@@ tlichen amerikanischen M@@ annes des 21. Jahrhunderts beträgt laut US ##AT##-##AT## Gesundheits@@ statisti@@ k 3@@ 9,@@ 7 Zoll . +Airbus sagt , dass sein Ri@@ v@@ ale an einem Sitz@@ konzept aus den 5@@ 0er Jahren fes@@ th@@ ront , als die durchschnittliche Gur@@ te des neu get@@ auf@@ ten " Jet ##AT##-##AT## S@@ ets " enger war . +Airbus sagt , dass es Forschung in Auftrag gegeben hat , die einen zusätzlichen Zoll an Sitz@@ breite vorschlägt , verbessert die Schlaf@@ qualität um 53 Prozent . +Boeing be@@ streit@@ et die Zahlen von Airbus über Sitz@@ messungen und sagt , dass es nicht Sache der Hersteller ist , Entscheidungen darüber zu treffen , wie die Fluggesellschaften ein Gleichgewicht ab@@ schaffen und Einrichtungen ab@@ wick@@ eln . +es sagt auch , dass Forschung zeigt Kab@@ inen@@ erfahr@@ ung hängt von mehr als der Breite eines Sit@@ zes . +" es läuft wirklich darauf hinaus , den Fluggesellschaften Flexibilität zu bieten und ihnen zu ermöglichen , das zu tun , was sie ihrer Meinung nach tun müssen , um erfolgreich zu sein " , sagte der Boeing ##AT##-##AT## Kab@@ inen ##AT##-##AT## Exper@@ te K@@ ent Cra@@ ver . +Sie wollen nicht , dass wir ihnen vorsch@@ reiben , was sie rent@@ abel macht . +Sie kennen ihr Geschäft besser als alle anderen . +bei Flug@@ blä@@ ttern geht es um mehr E@@ ll@@ en@@ bo@@ gen@@ raum , aber für Lieferanten ist es zunehmend ein Thema , das das Einkommen beeinflussen könnte . +hinter dem Streit steht ein Wett@@ lauf um Flug@@ auf@@ träge mit mindestens 700 Milliarden Dollar geschätz@@ tem Geschäft zu List@@ en@@ preisen in den kommenden Jahrzehnten , genug , um die Sk@@ alen der US ##AT##-##AT## amerikanischen und europäischen Exporte zu ki@@ ppen . +wie Re@@ u@@ ters im Juli erstmals berich@@ tete , ist das Sitz@@ layout genau das , was den Kampf zwischen den neuesten J@@ ets an@@ treibt . +sowohl Airbus als auch Boeing fordern in ihren neuesten zwei@@ mot@@ ori@@ gen Lang@@ stre@@ cken@@ designs 20 Prozent bessere Effizienz pro Sitz als der Markt@@ führer in diesem Segment , die 365 ##AT##-##AT## Sit@@ ze Boeing 7@@ 77 ##AT##-##AT## 300@@ ER . +Boeing 7@@ 77 ist die erste Boeing 7@@ 77 der Welt . +der Gewinn an Stück@@ kosten wird im Vergleich zu 10 ##AT##-##AT## Ab@@ re@@ ast , die jetzt in Gebrauch ist , ges@@ per@@ r@@ t . +" der Grund , warum Boeing dies tut , ist , mehr Sit@@ ze einzu@@ legen , um ihr Flugzeug wettbewerbs@@ fähiger mit unseren Produkten zu machen " , sagte Kevin Ken@@ ist@@ on , Leiter des Passagi@@ er@@ kom@@ forts bei Airbus in Europa . +auf der anderen Seite deuten Analy@@ sten darauf hin , dass volle 10 ##AT##-##AT## Sit@@ ze ##AT##-##AT## Kab@@ inen für bestehende 7@@ 7@@ er für viele Passagiere für das di@@ chter@@ e Layout stimmen , das mit billi@@ geren Tari@@ fen einher@@ gehen kann . +die Boeing 7@@ 77 ist die erste Boeing 7@@ 77 der Welt . +Airbus und Boeing liefern keine Sit@@ ze , sondern bieten einen Katalog von Lieferanten für Fluggesellschaften an , aus denen sie wählen können . +Glo@@ bus ##AT##-##AT## Ho@@ se ##AT##-##AT## Jet ##AT##-##AT## Verkäufer tragen sogar Band@@ maßnahmen , um konkur@@ ri@@ erende La@@ y@@ outs zu überprüfen . +alle Bau@@ herr@@ en bieten Komfort und J@@ ets mit hoher D@@ ichte für Billi@@ g@@ flug@@ linien und regionale Reisen . +Airbus bietet eine 10 ##AT##-##AT## min@@ ü@@ tige A3@@ 50 an , sagt aber , dass sie sie noch nicht verkauft hat . +bis vor kurzem bet@@ onte Airbus die Notwendigkeit einer weiteren Anpassung der Kab@@ inen , indem es auf einigen seiner J@@ ets breit@@ ere G@@ ang@@ sit@@ ze anbietet . +ohne die Unterstützung des einzigen anderen Herstell@@ ers großer moderner J@@ ets , sagen Experten , seine Forderung nach einem neuen Industri@@ est@@ and@@ ard ist wahrscheinlich nicht zu fliegen , könnte aber von einer Welle von 7@@ 7@@ 7@@ X Umsatz ab@@ lenken . +die FA@@ A lock@@ ert die Beschränkungen für die Verwendung elektronischer Geräte in Flugzeugen - obwohl Ch@@ atten auf Mobiltelef@@ onen immer noch verboten sind . +Kriegs@@ flug@@ zeuge greifen ein Geschäft russ@@ ischer Rak@@ eten in der Haf@@ enstadt Lat@@ akia an , sagt ein Beam@@ ter . +es ist eine offensich@@ tliche Fortsetzung der israelischen Kampagne , die Waffen davon abzu@@ halten , sich in der M@@ ide@@ ast zu verbreiten . +ein Bundes@@ k@@ lagen blockiert das Urteil eines Rich@@ ters , dass die um@@ strit@@ tene Tak@@ tik der N@@ Y@@ PD Minderheiten diskrimin@@ iert . +fast 100 afri@@ kanische Migranten , die darauf hoffen , nach Algerien zu reisen , sterben an Dur@@ st , nachdem ihre beiden Last@@ wagen mitten in der Sahara zusammen@@ gebrochen sind . +Experten sagen , dass Gewalt , die 14 Erwachsene und sieben Kinder tot ließ , nichts anderes ist als zu@@ fällige Chancen , kein Zeichen wachsen@@ der Gewalt in Amerika . +anstatt von der Still@@ legung der US ##AT##-##AT## Regierung über@@ sch@@ at@@ tet zu werden , haben sich die Investoren auf das konzentriert , was wahrscheinlich noch wichtiger ist : die Federal Reserve . +die kali@@ for@@ nische Frau plant , eine Art Zit@@ at herauszu@@ fordern , die besagt , dass die Internet ##AT##-##AT## an@@ geschlossene Bri@@ llen die Navigation erleichtern . +Polizei sagen , sie haben ein Video , das Bürger@@ meister Ro@@ b Ford scheint zu zeigen , Rauchen eine R@@ isse Pf@@ ei@@ fe . +selbst enge Verbün@@ dete halten die Dinge voneinander ab - und arbeiten jeden Win@@ kel , um herauszufinden , was zurück@@ gehalten wird . +der Vati@@ kan möchte wissen , wie katho@@ li@@ sch auf der ganzen Welt sensible Themen wie Empfän@@ gnis@@ ver@@ hütung , Schei@@ dung und Schw@@ ul@@ en@@ pa@@ are behandelt . +schwere Ver@@ letzte nach Kol@@ li@@ sion +am frühen Freit@@ ag@@ nach@@ mittag wurden zwei Auto@@ fahrer in einem fron@@ t@@ alen Zusammen@@ stoß an der Landes@@ straße 44 schwer verletzt . +die Polizei hat die Straße sofort völlig blockiert , konnte aber zunächst nicht viel zur Ursache des Un@@ falls sagen . +Sie haben jedoch erwähnt , dass es verschiedene Zeu@@ gen@@ aus@@ sagen gab , die zuerst bewertet werden mussten . +sicher ist , dass die 19 ##AT##-##AT## jährige wei@@ bliche Fahr@@ erin eines V@@ W Golf in Richtung Re@@ v@@ ens@@ dorf fährt und der 38 ##AT##-##AT## jährige Mann aus G@@ ett@@ or@@ f in seiner Hy@@ un@@ da@@ i zu ihr kam . +die beiden Fahrzeuge kol@@ li@@ dierten , wobei die Frau so stark fest@@ sa@@ ß , dass der Feuer@@ dienst fast eine halbe Stunde brau@@ chte , um sie von den Fahrzeug@@ w@@ ra@@ cken zu befreien . +zunächst blieb die eigentliche Ursache des Un@@ falls un@@ klar . +beide unglück@@ lichen Parteien wurden in nahe gelegene Kranken@@ häuser gebracht . +die Straße blieb etwa zwei Stunden lang vollständig blockiert . +Feuer@@ bes@@ atz@@ ungen , die zur Ret@@ tung verlor@@ ener Wel@@ pen aufgerufen wurden , nachdem sie auf pre@@ k@@ ären Aus@@ fall in einem Stein@@ bruch 50 ft über dem Boden stecken +Co@@ cker sp@@ ani@@ el Ru@@ by ist ab@@ gel@@ aufen , nachdem sie sich in einem kleinen Straßen@@ ab@@ stur@@ z befindet . +drei Tage später wurde sie von einem Hun@@ de@@ wand@@ ler entdeckt , der im Stein@@ bruch gefangen ist . +Feuer@@ wehr@@ leute besch@@ lag@@ nahmen Kli@@ ppen von An@@ ges@@ icht zu An@@ ges@@ icht auf den Hund aus einem bestimmten Tod . +ein Wel@@ pe hatte eine glück@@ liche Flucht , nachdem die Feuer@@ bes@@ atz@@ ungen aufgefordert wurden , sie in Sicherheit zu heben , als sie sich irgendwie auf einer pre@@ k@@ ären Kli@@ ppe auf 50@@ ft fest@@ stecken ließ . +der neun@@ mon@@ ati@@ ge Co@@ cker ##AT##-##AT## Sp@@ ani@@ el Ru@@ by war nach einem Straßen@@ crash am Sonn@@ ta@@ gn@@ ach@@ mittag ab@@ gef@@ eu@@ ert und über@@ lebte allein drei Tage , bevor er am Mittwoch aus einem Stein@@ bruch ger@@ et@@ tet wurde . +ihre Besitzer Scott Al@@ der@@ son , 25 , und seine Freun@@ din Be@@ cky Hall , 20 , waren in Fla@@ pp@@ it Quar@@ ry in Den@@ hol@@ me , West Yor@@ k@@ shire , um wieder mit Ru@@ by vereint zu werden und West Yor@@ k@@ shire Fire and Res@@ cue Service zu danken . +Sie hatten offen nach ihrem vermis@@ sten Hund gesucht und App@@ elle auf Social Net@@ working Sites veröffentlicht , nachdem sie nach dem kleinen Unfall in den Stein@@ bruch ge@@ flo@@ gen war . +um 14.@@ 15 Uhr am Mittwoch beobach@@ tete ein Ad@@ ler ##AT##-##AT## E@@ ure ##AT##-##AT## Hun@@ de@@ w@@ anderer Ru@@ by auf dem He@@ bel im Stein@@ bruch , str@@ ün@@ dete 50@@ ft . +ein Technical Res@@ cue Team von Cle@@ ck@@ he@@ aton Fire Station stür@@ zte in die Szene und ging hin@@ unter , um Ru@@ by zu retten . +die Fach@@ hoch@@ schule An@@ dy C@@ lay@@ ton sagte : " Sie befindet sich in einer pre@@ k@@ ären Situation . +Sie war mitten in der Kli@@ ppe - 50@@ ft von oben und unten . +Sie bewe@@ gte während der Ret@@ tung keine Mus@@ keln - sie wurde fest einge@@ fr@@ oren . +aber sie ist jetzt in Ordnung . +danach isst sie K@@ ek@@ se . +das war ein sehr un@@ gewöhn@@ licher Aufruf . +die Tatsache , dass der Hund entdeckt wurde , ist unglaublich . +der Spezialist für Techn@@ ische Rettungs@@ kräfte Peter L@@ au sagte : " Ru@@ by hatte eine sehr glück@@ liche Flucht . " +das Potenzial bestand darin , dass sie sehr schwer verletzt oder schlechter hätte verletzt werden können . +Ru@@ by wurde zur Überprüfung in die Tier@@ är@@ zte gebracht und wurde als gut als Er@@ schö@@ pfung und D@@ eh@@ y@@ dr@@ at@@ ation bezeichnet . +Mis@@ s Hall aus H@@ ali@@ fax , West Yor@@ k@@ shire , sagte : " die Ret@@ tung zu beobachten war er@@ schreck@@ end . " +ich konnte nicht glauben , dass sie überhaupt da war . +es war erstaunlich , sie wieder in die Ar@@ me zu bekommen . +der Tier@@ ar@@ zt sagte , dass sie wahrscheinlich gefallen wäre , wenn sie zu erschö@@ pft und zusammen@@ gebrochen wäre . +die Feuer@@ wehr@@ leute waren erstaunlich . +es war wirklich gew@@ agt , was sie taten . +wir sind nur so dankbar , und jeder einzelne war absolut gewal@@ tig . +Herr Al@@ der@@ son fü@@ gte aus K@@ eigh@@ ley hinzu : " wir für@@ chteten , dass sie fallen könnte , aber sie blieb dort . " +die Feuer@@ wehr@@ leute waren bri@@ ll@@ ant . +ich kann einfach nicht glauben , wo sie war . +Bericht Obama ##AT##-##AT## Kampagne betra@@ chtete das Dum@@ ping von Bi@@ den für Hil@@ l@@ ary Clinton . +laut der New York Times über@@ legte Präsident Barack Ob@@ amas eng@@ ste Berater heim@@ lich , Vizepräsident Jo@@ e Bi@@ den durch Hil@@ l@@ ary Clinton auf dem Ticket 2012 zu ersetzen . +die Offen@@ bar@@ ung ist die bemerk@@ enswer@@ teste Bom@@ be von Mark Hal@@ per@@ in und John Hei@@ le@@ man@@ ns stark erwar@@ te@@ tem Kamp@@ ag@@ nen@@ tom@@ e 2012 , " Double D@@ own : Game Change 2012 " . +die Times erhielt eine Kopie des kommenden Bu@@ ches und berich@@ tete Don@@ nerst@@ ag@@ abend , dass die führenden Mitarbeiter des Präsidenten " umfangreiche Gruppen@@ sitz@@ ungen und Wahl@@ ur@@ nen Ende 2011 " durchgeführt haben , um zu beurteilen , ob das Dum@@ ping Bi@@ den dazu beitragen könnte , Ob@@ amas sch@@ win@@ gende Wieder@@ wahl@@ hoff@@ nungen zu stärken . diff --git a/tests/models/wnmt18/student_small_aan.expected b/tests/models/wnmt18/student_small_aan.expected new file mode 100644 index 0000000..2a1412e --- /dev/null +++ b/tests/models/wnmt18/student_small_aan.expected @@ -0,0 +1,100 @@ +Or@@ land@@ o Blo@@ om und Mir@@ anda Ker@@ r lieben sich noch immer gegenseitig . +Schauspieler Or@@ land@@ o Blo@@ om und Model Mir@@ anda Ker@@ r wollen ihre eigenen Wege gehen . +in einem Interview hat Blo@@ om jedoch gesagt , dass er und Ker@@ r sich immer noch lieben . +Mir@@ anda Ker@@ r und Or@@ land@@ o Blo@@ om sind Eltern von zwei@@ jährigen Fl@@ ynn . +Schauspieler Or@@ land@@ o Blo@@ om kün@@ digte seine Trennung von seiner Frau , Super@@ modell Mir@@ anda Ker@@ r . +in einem Interview mit dem US ##AT##-##AT## Journalisten K@@ atie Cou@@ ric , das am Freitag ( Orts@@ zeit ) ausge@@ strahlt werden soll , sagte Blo@@ om : " manchmal geht das Leben nicht genau so , wie wir planen oder hoffen " . +er und Ker@@ r lieben sich immer noch , bet@@ on@@ ten den 36 ##AT##-##AT## jährigen . +" wir werden einander unterstützen und uns als Eltern nach Fl@@ ynn lieben " . +Ker@@ r und Blo@@ om sind seit 2010 verhei@@ rat@@ et und ihr Sohn Fl@@ ynn wurde 2011 geboren . +J@@ et@@ macher feu@@ chten über die Sitz@@ breite mit großen Auf@@ trägen auf dem Spiel . +auf Lang@@ stre@@ cken@@ flügen hat sich zwischen führenden Flug@@ zeu@@ gh@@ er@@ stellern über die Breite von Sitz@@ plätzen der touristischen Klasse er@@ sti@@ ckt , was den Ton für eine bit@@ tere Kon@@ fron@@ tation auf der Dubai Air@@ show in diesem Monat gesetzt hat . +der Streit konzentriert sich auf die Sitz@@ breite , die auf Lang@@ stre@@ cken@@ flügen für Passagiere der Wirtschaft bereitgestellt werden - nicht immer die , die von Fluggesellschaften am besten ge@@ hö@@ flich sind , aber deren zu@@ gewi@@ es@@ ener Raum den Schlüssel zu Effizi@@ enz@@ an@@ sprüchen für die neuesten J@@ ets von Airbus SA@@ S und Boeing Co. hält . +Airbus hat diese Woche einen Industri@@ est@@ and@@ ard gefordert , der einen Platz von mindestens 18 Zoll ( 46 cm ) in Wirtschafts@@ kab@@ inen vorsieht , aber seine US ##AT##-##AT## Er@@ z@@ ri@@ v@@ ale Boeing sagt , dass es Sache der Fluggesellschaften sein sollte , zu entscheiden . +der Streit kommt , da Flugzeug@@ hersteller darum tra@@ fen , immer größere Versionen ihrer zwei@@ mot@@ ori@@ gen Lang@@ stre@@ cken@@ flug@@ zeuge zu verkaufen , wobei potenzi@@ ell Rek@@ ord@@ auf@@ träge auf der Veranstaltung vom 17. bis 21. November erwartet werden . +wie die Rück@@ seite des Flug@@ zeu@@ gs - insbesondere ob die Sitz@@ plätze 9 oder 10 ab@@ sto@@ ß@@ end sind - ist von zentraler Bedeutung für die wirtschaftlichen Leistungs@@ ansprüche für neue " mini ##AT##-##AT## j@@ umb@@ o " Jet ##AT##-##AT## Designs . +Boeing sagt , seine über@@ arbeiteten " 7@@ 7@@ 7@@ X " wird 4@@ 06 Menschen auf der Grundlage von Wirtschafts@@ sitzen mehr als 17 Zoll breit und in jeder Reihe 10 in jeder Reihe . +Airbus sagt , dass die konkur@@ ri@@ erende Version der A3@@ 50 350 Mitarbeiter auf einem 18 ##AT##-##AT## Zoll ##AT##-##AT## weiten Wirtschafts@@ sitz be@@ fördern wird , der 9 ver@@ altet ist . +Flugzeug@@ ri@@ esen handeln oft in technischen Fragen durch Werbung in der Fach@@ pres@@ se . +jetzt appelli@@ ert Airbus direkt vor der Dubai Air@@ show an die Öffentlichkeit , wo die 7@@ 7@@ X mit mehr als 100 Bestellungen dom@@ inieren wird . +es hat vor kurzem den Beginn eines neuen Werbe@@ krie@@ gs vor@@ weg@@ genommen , indem er Finanzi@@ ers eine R@@ ut@@ sche zeigte , in der drei Personen in einem Restaurant zusammen@@ ge@@ qu@@ et@@ tet wurden , mit dem Titel " W@@ ould You Acc@@ ept This ? " . +" Boeing schlägt Fern@@ fliegen in Sit@@ zen vor , die enger sind als regionale Tur@@ bo@@ pro@@ ps “ , sagte John Le@@ ah@@ y , Vertriebs@@ leiter von Airbus . +mit dem Wechsel der Di@@ äten werden die Menschen größer , aber die Plat@@ z@@ st@@ ühle hat sich nicht radik@@ al verändert . +zwischen den frühen 197@@ 0er Jahren , als die Boeing 7@@ 47 j@@ umb@@ o definiert moderne Lang@@ stre@@ cken@@ reisen , und die Jahrhunder@@ t@@ wende , stieg das Gewicht des durchschnit@@ tlichen amerikanischen 40@@ - bis 49 ##AT##-##AT## jährigen M@@ annes um 10 Prozent , so die US ##AT##-##AT## Gesundheits@@ abteilung Data . +die T@@ ail@@ le des durchschnit@@ tlichen amerikanischen M@@ annes des 21. Jahrhunderts beträgt nach Angaben der US ##AT##-##AT## Gesundheits@@ statisti@@ k 3@@ 9,@@ 7 Zoll . +Airbus sagt , sein Ri@@ v@@ ale fes@@ th@@ ront an einem Sitz@@ konzept aus den 5@@ 0er Jahren , als die durchschnittliche G@@ ür@@ tel des neu get@@ auf@@ ten " Jet ##AT##-##AT## S@@ ets " enger war . +Airbus sagt , dass es Untersuchungen in Auftrag gegeben hat , die darauf hin@@ deuten , dass ein zusätzlicher Zoll an Sitz@@ breite die Schlaf@@ qualität um 53 Prozent verbessert . +Boeing be@@ streit@@ et die Zahlen von Airbus über Sitz@@ messungen und sagt , dass es nicht Sache der Hersteller ist , Entscheidungen darüber zu treffen , wie Fluggesellschaften die Flug@@ preise und -@@ einrichtungen in Einklang bringen . +es sagt auch , dass die Forschung zeigt , dass die Erfahrung der Kab@@ ine von mehr als der Breite eines Sit@@ zes abhängt . +" es läuft wirklich darauf hinaus , den Fluggesellschaften Flexibilität zu bieten und ihnen die Möglichkeit zu geben , die Dinge zu tun , die sie ihrer Meinung nach tun müssen , um erfolgreich zu sein " , sagte der Boeing ##AT##-##AT## Kab@@ inen ##AT##-##AT## Exper@@ te K@@ ent Cra@@ ver . +Sie wollen nicht , dass wir ihnen dik@@ tieren , was sie rent@@ abel macht . +Sie kennen ihr Geschäft besser als jeder andere . +bei Fl@@ yer geht es um mehr E@@ ll@@ en@@ bo@@ gen@@ raum , aber für Lieferanten ist es zunehmend ein Thema , das das Ergebnis beeinflussen könnte . +hinter dem Streit steht ein Wett@@ lauf um Flug@@ auf@@ träge mit mindestens 700 Milliarden Dollar an geschätz@@ ten Geschäften zu List@@ en@@ preisen in den kommenden Jahrzehnten , genug , um die Sk@@ alen der US ##AT##-##AT## amerikanischen und europäischen Exporte zu ki@@ ppen . +wie Re@@ u@@ ters im Juli zum ersten Mal berich@@ tete , ist das Sitz@@ layout genau das , was die Schlacht zwischen den neuesten J@@ ets treibt . +sowohl Airbus als auch Boeing beanspru@@ chen 20 Prozent bessere Effizienz pro Sitz in ihren neuesten zwei@@ mot@@ ori@@ gen Lang@@ stre@@ cken@@ designs als der Markt@@ führer in diesem Segment , der Boeing 7@@ 77 ##AT##-##AT## 300@@ ER mit 365 Sit@@ zen . +Boeing ist die erste Boeing 7@@ 77 ##AT##-##AT## 200 , die in der Lage ist , die Boeing 7@@ 7@@ 77 ##AT##-##AT## 200 zu ver@@ gleicht . +der Gewinn an Stück@@ kosten wird im Vergleich zu 10 ##AT##-##AT## ab@@ re@@ ast jetzt in Gebrauch . +" der Grund , warum Boeing dies tut , ist , mehr Sit@@ ze einzu@@ stri@@ cken , um ihr Flugzeug wettbewerbs@@ fähiger mit unseren Produkten zu machen " , sagte Kevin Ken@@ ist@@ on , Leiter des Passagi@@ er@@ kom@@ forts bei den europäischen Airbus in Europa . +auf der anderen Seite sagen Analy@@ sten , dass volle 10 ##AT##-##AT## Sit@@ ze ##AT##-##AT## pro ##AT##-##AT## Reihe ##AT##-##AT## Kab@@ inen für bestehende 7@@ 7@@ er ##AT##-##AT## Kab@@ inen meinen , dass viele Passagiere für das Den@@ ser ##AT##-##AT## Layout stimmen , das mit billi@@ geren Tari@@ fen einher@@ gehen kann . +" 18 Zoll Sitz@@ breite wären groß@@ artig für die Passagiere , aber die Realität ist , dass aus geschäft@@ lichen Punkt des Airbus ##AT##-##AT## Vorschlags von der Bedrohung durch die 7@@ 77 ange@@ trieben wird " , sagte der Innen@@ am@@ si@@ ker Mary Kir@@ by , Gründer und Her@@ ausge@@ ber des Run@@ way Gir@@ l Network . +Airbus und Boeing liefern keine Sit@@ ze , sondern bieten einen Katalog von Lieferanten für Fluggesellschaften an , aus denen Sie wählen können . +Glo@@ bus ##AT##-##AT## T@@ inten@@ stra@@ hl@@ verk@@ äufer tragen sogar Band@@ maßnahmen , um konkur@@ ri@@ erende La@@ y@@ outs zu überprüfen . +alle Bau@@ herr@@ en bieten auch J@@ ets mit hoher D@@ ichte ##AT##-##AT## La@@ y@@ outs für Billi@@ g@@ flug@@ gesellschaften und regionale Reisen . +Airbus bietet eine 10 ##AT##-##AT## jährige A3@@ 50 an , sagt aber , sie hat sie noch nicht verkauft . +bis vor kurzem bet@@ onte Airbus die Notwendigkeit einer größeren Anpassung der Kab@@ inen , indem es breit@@ ere A@@ is@@ le ##AT##-##AT## Sit@@ ze auf einigen seiner J@@ ets bot . +ohne die Unterstützung des einzigen anderen Herstell@@ ers großer moderner J@@ ets sagen Experten , dass ihre Forderung nach einem neuen Industri@@ est@@ and@@ ard wahrscheinlich nicht fliegen wird , sondern könnte von einer Welle von 7@@ 7@@ 7@@ X Verk@@ äu@@ fen ab@@ lenken . +die FA@@ A lock@@ ert die Beschränkungen für die Verwendung elektronischer Geräte in Flugzeugen - obwohl das Ch@@ atten auf Mobiltelef@@ onen weiterhin verboten ist . +Kriegs@@ flug@@ zeuge greifen einen Laden russ@@ ischer Rak@@ eten in der Haf@@ enstadt Lat@@ akia an , so ein Beam@@ ter . +es ist eine offensich@@ tliche Fortsetzung der israelischen Kampagne , die Waffen davon abzu@@ halten , sich im M@@ ide@@ ast zu vermehr@@ en . +ein föder@@ ales Beruf@@ ungs@@ gericht blockiert das Urteil eines Rich@@ ters , dass die um@@ strit@@ tene Tak@@ tik der N@@ Y@@ PD Minderheiten diskrimin@@ iert . +fast 100 afri@@ kanische Migranten , die hoffen , nach dem Dur@@ st nach dem Nieder@@ gang ihrer beiden Last@@ kraft@@ wagen mitten in der Sahara nach Algerien zu reisen , sterben an Dur@@ +Experten sagen , Gewalt , die 14 Erwachsene und sieben Kinder tot gemacht hat , ist nichts anderes als zu@@ fällige Chance , kein Zeichen wachsen@@ der Gewalt in Amerika . +anstatt von der Absch@@ ot@@ tung der US ##AT##-##AT## Regierung ange@@ p@@ eit@@ scht zu werden , konzent@@ rierten sich die Investoren auf das , was wahrscheinlich noch wichtiger ist : die Federal Reserve . +die kali@@ for@@ nische Frau plant , ein vielleicht erstklassi@@ ges Zit@@ at herauszu@@ fordern , das besagt , dass die Internet ##AT##-##AT## verbundenen Bri@@ llen die Navigation erleichtern . +Polizei sagen , sie haben ein Video , das zu zeigen , Bürger@@ meister Ro@@ b Ford rau@@ chen eine R@@ iss Pi@@ pe . +selbst enge Verbün@@ dete halten die Dinge voneinander - und arbeiten jeden Win@@ kel , um herauszufinden , was zurück@@ gehalten wird . +der Vati@@ kan möchte wissen , wie katho@@ lische Gemeinden auf der ganzen Welt sensible Themen wie Empfän@@ gnis@@ ver@@ hütung , Schei@@ dung und schw@@ ule Paare behandeln . +Personen , die nach Kol@@ li@@ sionen schwer verletzt wurden +am frühen Freit@@ ag@@ nach@@ mittag wurden zwei Auto@@ fahrer in einer Kol@@ li@@ sion an der Landes@@ straße 44 schwer verletzt . +die Polizei hat die Straße sofort vollständig blockiert , konnte aber zunächst nicht viel zur Un@@ fall@@ ur@@ sache Stellung nehmen . +Sie haben jedoch erwähnt , dass es verschiedene Zeu@@ gen@@ aus@@ sagen gab , die zunächst bewertet werden mussten . +sicher ist , dass die 19 ##AT##-##AT## jährige wei@@ bliche Fahrer eines V@@ W Golf in Richtung Re@@ v@@ ens@@ dorf gefahren ist und der 38 ##AT##-##AT## jährige Mann aus G@@ ett@@ or@@ f in seinem Hy@@ un@@ da@@ i zu ihr kam . +die beiden Fahrzeuge kol@@ li@@ dierten , wobei die Frau so stark fest@@ gefahren war , dass es fast eine halbe Stunde dau@@ erte , um sie von den W@@ ra@@ ck@@ agen des Fahrzeu@@ gs zu befreien . +zunächst blieb die eigentliche Ursache des Un@@ falls un@@ klar . +beide unglück@@ lichen Parteien wurden in nahe gelegene Kranken@@ häuser gebracht . +die Straße blieb etwa zwei Stunden lang vollständig blockiert . +Feuer@@ bes@@ atz@@ ungen forderten , verlor@@ enen Wel@@ pen zu retten , nachdem sie 50 ft über dem Boden auf pre@@ k@@ ären Le@@ dge in einem Stein@@ bruch fest@@ gefahren war . +Co@@ cker Sp@@ ani@@ el Ru@@ by war ab@@ gebrochen , nachdem sie sich in einem kleinen Straßen@@ ab@@ stur@@ z befindet . +Sie wurde drei Tage später von einem Hun@@ de@@ w@@ anderer entdeckt , der im Stein@@ bruch gefangen ist . +Feuer@@ wehr@@ leute greifen die Kli@@ ppe nach Gesicht ab , um den Hund von einem bestimmten Tod zu nehmen . +ein Wel@@ pe hatte eine glück@@ liche Flucht , nachdem die Feuer@@ bes@@ atz@@ ungen aufgerufen wurden , sie in Sicherheit zu heben , als sie sich irgendwie 50 m auf eine pre@@ k@@ äre Kli@@ ppe auf@@ hielt . +der neun@@ mon@@ ati@@ ge Co@@ cker ##AT##-##AT## Sp@@ ani@@ el Ru@@ by war nach einem Straßen@@ ab@@ stur@@ z am Sonn@@ ta@@ gn@@ ach@@ mittag ab@@ gest@@ ran@@ det und über@@ lebte drei Tage allein , bevor er am Mittwoch aus einem Stein@@ bruch ger@@ et@@ tet wurde . +ihre Besitzer Scott Al@@ der@@ son , 25 , und seine Freun@@ din Be@@ cky Hall , 20 , waren im Fla@@ pp@@ it Quar@@ ry in Den@@ hol@@ me , West Yor@@ k@@ shire , um mit Ru@@ by wieder@@ verein@@ igt zu werden und haben West Yor@@ k@@ shire Fire and Res@@ cue Service ge@@ dankt . +Sie hatten offen nach ihrem fehlenden Hund gesucht und App@@ elle auf Social Net@@ working ##AT##-##AT## Sites ge@@ post@@ et , nachdem sie nach dem kleinen Unfall in den Stein@@ bruch geraten war . +um 14.@@ 15 Uhr am Mittwoch entdeckt ein Ad@@ ler@@ h@@ und Ru@@ by auf der L@@ eine im Stein@@ bruch , 50@@ ft gest@@ ran@@ nt . +ein techn@@ isches Rettungs@@ team von Cle@@ ck@@ he@@ aton Fire Station stür@@ zte zur Szene und wurde ab@@ genommen , um Ru@@ by zu retten , und benutz@@ te eine Heim@@ tier@@ rö@@ hre , um sie auf die Kli@@ ppe zu bringen . +der Fach@@ mann für Techn@@ ische Rettungs@@ beam@@ te An@@ dy C@@ lay@@ ton sagte : " Sie war in einer pre@@ k@@ ären Situation . +Sie war mitten in der Kli@@ ppe - 50@@ ft von oben und unten . +Sie bewe@@ gte während der Ret@@ tung keine Mus@@ kul@@ atur - sie wurde fest einge@@ fr@@ oren . +aber sie ist jetzt in Ordnung . +danach fres@@ ste sie K@@ ek@@ se . +das war ein sehr un@@ gewöhn@@ licher Aufruf . +die Tatsache , dass der Hund entdeckt wurde , ist unglaublich . +der Fach@@ mann Peter L@@ au sagte : " Ru@@ by hatte eine glück@@ liche Flucht " . +das Potenzial bestand darin , dass sie sehr schwer verletzt oder schlimmer hätte verletzt werden können . +Ru@@ by wurde für einen Check ##AT##-##AT## up in die Tier@@ är@@ zte gebracht und wurde als gut als Er@@ schö@@ pfung und D@@ eh@@ y@@ dr@@ at@@ ation festgestellt . +Mis@@ s Hall aus H@@ ali@@ fax , West Yor@@ k@@ shire , sagte : " die Ret@@ tung zu beobachten , war er@@ schreck@@ end . " +ich konnte mir nicht vorstellen , dass sie überhaupt da oben war . +es war erstaunlich , sie wieder in die Ar@@ me zu bekommen . +der Tier@@ ar@@ zt sagte , dass sie , wenn sie zu erschö@@ pft und zusammen@@ gebrochen würde , wahrscheinlich gefallen wäre . +die Feuer@@ wehr@@ leute waren erstaunlich . +es war wirklich gew@@ agt , was sie taten . +wir sind einfach so dankbar , und jeder einzelne war absolut gewal@@ tig . +Herr Al@@ der@@ son aus K@@ eigh@@ ley fü@@ gte hinzu : " wir hatten Angst , dass sie fallen könnte , aber sie blieb dort . " +die Feuer@@ wehr@@ leute waren bri@@ ll@@ ant . +ich kann mir einfach nicht vorstellen , wo sie war . +Bericht : Obama ##AT##-##AT## Kampagne in Erwägung , dass Dum@@ ping Bi@@ den für Hil@@ l@@ ary Clinton +Präsident Barack Ob@@ amas eng@@ ste Berater über@@ nahmen heim@@ lich , Vizepräsident Jo@@ e Bi@@ den auf dem Ticket 2012 auf dem Ticket 2012 zu ersetzen . +die Offen@@ bar@@ ung ist die bemerk@@ enswer@@ teste Bom@@ be von Mark Hal@@ per@@ in und John Hei@@ le@@ man@@ ns stark erwarteten Wahl@@ kamp@@ f@@ gra@@ u 2012 , " Double D@@ own : Game Change 2012 " . +die Times erhielt eine Kopie des kommenden Bu@@ ches und berich@@ tete am Don@@ nerst@@ ag@@ abend , dass die Spitzen@@ hilfen des Präsidenten " umfangreiche Gruppen@@ sitz@@ ungen und Wahl@@ ungen Ende 2011 " durchgeführt haben , um zu beurteilen , ob das Dum@@ ping Bi@@ den dazu beitragen könnte , Ob@@ amas sch@@ win@@ denden Wieder@@ wahl@@ hoff@@ ungen zu stärken . diff --git a/tests/models/wnmt18/test_student_small.sh b/tests/models/wnmt18/test_student_small.sh new file mode 100644 index 0000000..209aecf --- /dev/null +++ b/tests/models/wnmt18/test_student_small.sh @@ -0,0 +1,19 @@ +#!/bin/bash + +# Exit on error +set -e + +model=model.student.small + +# Run test +cat newstest2014.in | $MRT_MARIAN/build/marian-decoder \ + -m $MRT_MODELS/wnmt18/$model/model.npz \ + -v $MRT_MODELS/wnmt18/vocab.ende.{yml,yml} \ + --mini-batch-words 384 --mini-batch 100 --maxi-batch 100 --maxi-batch-sort src -b 1 \ + --shortlist $MRT_MODELS/wnmt18/lex.s2t 100 75 --cpu-threads=1 --skip-cost --max-length-factor 1.2 \ + > student_small.out + +diff student_small.out student_small.expected > student_small.diff + +# Exit with success code +exit 0 diff --git a/tests/models/wnmt18/test_student_small_aan.sh b/tests/models/wnmt18/test_student_small_aan.sh new file mode 100644 index 0000000..e2b8fe6 --- /dev/null +++ b/tests/models/wnmt18/test_student_small_aan.sh @@ -0,0 +1,19 @@ +#!/bin/bash + +# Exit on error +set -e + +model=model.student.small.aan + +# Run test +cat newstest2014.in | $MRT_MARIAN/build/marian-decoder \ + -m $MRT_MODELS/wnmt18/$model/model.npz \ + -v $MRT_MODELS/wnmt18/vocab.ende.{yml,yml} \ + --mini-batch-words 384 --mini-batch 100 --maxi-batch 100 --maxi-batch-sort src -b 1 \ + --shortlist $MRT_MODELS/wnmt18/lex.s2t 100 75 --cpu-threads=1 --skip-cost --max-length-factor 1.2 \ + > student_small_aan.out + +diff student_small_aan.out student_small_aan.expected > student_small_aan.diff + +# Exit with success code +exit 0 diff --git a/tests/models/wnmt18/test_student_small_aan_optimize.sh b/tests/models/wnmt18/test_student_small_aan_optimize.sh new file mode 100644 index 0000000..c002913 --- /dev/null +++ b/tests/models/wnmt18/test_student_small_aan_optimize.sh @@ -0,0 +1,24 @@ +#!/bin/bash + +# Exit on error +set -e + +model=model.student.small.aan + +# Run test +cat newstest2014.in | $MRT_MARIAN/build/marian-decoder \ + -m $MRT_MODELS/wnmt18/$model/model.npz \ + -v $MRT_MODELS/wnmt18/vocab.ende.{yml,yml} \ + --mini-batch-words 384 --mini-batch 100 --maxi-batch 100 --maxi-batch-sort src -b 1 --optimize \ + --shortlist $MRT_MODELS/wnmt18/lex.s2t 100 75 --cpu-threads=1 --skip-cost --max-length-factor 1.2 \ + > optimize_aan.out + +cat optimize_aan.out | perl -pe 's/@@ //g' \ + | $MRT_TOOLS/moses-scripts/scripts/recaser/detruecase.perl \ + | $MRT_TOOLS/moses-scripts/scripts/generic/multi-bleu.perl newstest2014.ref \ + | $MRT_TOOLS/extract-bleu.sh > optimize_aan.bleu + +$MRT_TOOLS/diff-floats.py optimize_aan.bleu optimize_aan.bleu.expected -p 0.1 > optimize_aan.bleu.diff + +# Exit with success code +exit 0 diff --git a/tools/extract-bleu.sh b/tools/extract-bleu.sh new file mode 100755 index 0000000..2ef17f5 --- /dev/null +++ b/tools/extract-bleu.sh @@ -0,0 +1,2 @@ +#!/bin/bash +sed -r "s/^BLEU = ([0-9]+\.[0-9]+), .*/\1/" |