Transform a benchmark on WMT17 into a regression test

7 files changed, 345 insertions, 0 deletions

diff --git a/tests/models/wmt17-ende/_test_translation_b6n_batch32.sh b/tests/models/wmt17-ende/_test_translation_b6n_batch32.sh
new file mode 100644
index 0000000..12257e1
--- /dev/null
+++ b/tests/models/wmt17-ende/_test_translation_b6n_batch32.sh
@@ -0,0 +1,21 @@
+#!/bin/bash
+
+# Exit on error
+set -e
+
+rm -f marian.batch32.out
+
+# Run Marian
+$MRT_MARIAN/build/marian-decoder -c $MRT_MODELS/wmt17_systems/marian.en-de.yml -b 6 -n 1.0 \
+    --mini-batch 32 --maxi-batch 100 --maxi-batch-sort src -w 2500 \
+    < text.b6n.in > marian.batch32.out
+
+# Compare with Marian
+diff marian.batch32.out marian.b6n.expected > marian.batch32.diff
+
+# Compare with Nematus
+# The very first line is ommitted as it may differ due to a bug with GPU memory allocation
+diff <(tail -n +2 marian.batch32.out) <(tail -n +2 nematus.b6n.out) > nematus.batch32.diff
+
+# Exit with success code
+exit 0
diff --git a/tests/models/wmt17-ende/info.txt b/tests/models/wmt17-ende/info.txt
new file mode 100644
index 0000000..38fca6b
--- /dev/null
+++ b/tests/models/wmt17-ende/info.txt
@@ -0,0 +1,4 @@
+nematus.b6n.out:
+	cd $(MODEL) && THEANO_FLAGS=mode=FAST_RUN,floatX=float32,device=cuda,on_unused_input=warn \
+		python $(TOOLS)/nematus/nematus/translate.py -m model.l2r.ens1.npz --suppress-unk -v \
+		-k 6 -n -p 5
diff --git a/tests/models/wmt17-ende/marian.b6n.expected b/tests/models/wmt17-ende/marian.b6n.expected
new file mode 100644
index 0000000..fcabae9
--- /dev/null
+++ b/tests/models/wmt17-ende/marian.b6n.expected
@@ -0,0 +1,100 @@
+&quot; Obama &quot; empfängt Netanjahu
+das Verhältnis zwischen Obama und Netanjahu ist nicht gerade freundlich .
+die beiden wollten über die Umsetzung des internationalen Abkommens und über die destabili@@ sierenden Aktivitäten von Teheran im Nahen Osten sprechen .
+das Treffen war auch geplant , um den Konflikt mit den Palästinensern und die umstrittene Zwei @-@ Staaten @-@ Lösung zu vertu@@ schen .
+die Beziehungen zwischen Obama und Netanjahu sind seit Jahren an@@ gespannt .
+Washington kritisiert den kontinuierlichen Bau von Siedlungen in Israel und wirft Netanjahu mangelnde Initiative im Friedensprozess vor .
+das Verhältnis zwischen beiden hat sich aufgrund des Abkommens , das Obama über das iranische Nuklearprogramm ausgehandelt hat , weiter verschlechtert .
+im März hatte Netanjahu auf Einladung der Republikaner eine kontroverse Rede vor dem US @-@ Kongress gehalten , der teils als Aff@@ ront gegenüber Obama gesehen wurde .
+die Rede war nicht mit Obama , der ein Treffen mit dem Hinweis auf die Wahl , die damals in Israel an@@ stand , abgelehnt hatte .
+in 911 Call , Professor Ad@@ m@@ its zum Shooting Gir@@ l@@ friend
+in einem 911 , seiner Stimme nur leicht w@@ ac@@ ke@@ lig , erzählt College @-@ Profess@@ orin Shannon Lam@@ b der Polizei , er habe seine Freundin und die Beamten erschossen müssen , um in ihr Haus zu kommen .
+Lam@@ m@@ fleisch machte einen Punkt , um zu sagen , sein Stall @-@ süßen Hund &apos; &quot; war dort lebendig und wahrscheinlich aufgebracht und sagte , die Familien@@ kontakte der toten Frau könnten auf ihrem Telefon zu finden sein .
+im Inneren der Wohnung , die Beamten fanden Amy Pr@@ enti@@ ss &apos; s Körper und eine hand@@ schriftliche Notiz gekl@@ at@@ tete auf einem weißen juristischen Pad : mein Wunsch , ich könnte es mir gefallen lassen und sie ist die einzige Frau , die mich geliebt hat , und sie ist die einzige Frau , die von b b b b gelesen wurde .
+es gab keinen Hinweis darauf , dass Lam@@ b , der zwei Online @-@ Klassen für die Delta State University in Cleveland , Mississippi , unterrichtet hatte , bereits 300 Meilen auf den Campus der Schule reiste , wo die Polizei glaubt , dass er in der Haustür seines Büros einen gut ausseh@@ enden Geschichts@@ professor E@@ than Schmidt erschossen und umgebracht hat .
+der Poli@@ zeich@@ ef von Delta State University , L@@ ynn Bu@@ ford , erklärte den Universitäts@@ vertretern , dass sie um 10 : 18 Uhr gedreht haben .
+er sagte , Lam@@ b machte den schick@@ sal@@ haften 911 irgendwann danach .
+am Ende gäbe es noch einen weiteren Todes@@ fall : Lamm nahm sich das eigene Leben , als die Polizei in auf ihn geschlossen wurde .
+einen Tag nach dem Schul@@ schießen Zwangs@@ arbeiter und Dozenten , sich hinter verschlossenen Türen zu verstecken , versuchten die Behörden noch , zusammen welches motivierte Lamm zusammenzu@@ fügen .
+die von den Ermitt@@ lern an beiden Enden des Staates veröffentlichten Details sowie Schüler und Mitarbeiter , die ihn kannten , trugen dazu bei , ein Bild eines talenti@@ erten , aber möglicherweise an@@ geschlagenen Lehr@@ ers zu malen .
+die Schüler sagten , dass sie sich auf seine Klasse freuen .
+die Polizei in Gau@@ tier , wo Pr@@ enti@@ ss starb , sagte , er habe keine Geschichte der Gewalt oder des Strafre@@ gi@@ sters .
+Schmidt selbst hatte Lam@@ b in ein Buch aufgenommen , in dem er schrieb , wo er das Kultur @-@ Volk &quot; &quot; er teilte sein akade@@ misches Leben mit .
+beide ehrten in der Abteilung Sozialwissenschaften und Geschichte , die 17 Fakul@@ täts@@ mitglieder auf@@ listet , und viele Studenten nahmen Kurse von bei@@ dem entgegen .
+gleichzeitig gab es einige In@@ lin@@ ationen von Problemen .
+ein Schüler , der Lam@@ b lobte , Brand@@ on be@@ a@@ vers , sagte , er schien auf@@ gew@@ üh@@ lt und j@@ it@@ ter@@ isch , wie es bei ihm etwas falsch war . &apos; &apos;
+ein anderer Schüler , Mi@@ kel Sy@@ kes , sagte , Lam@@ b habe ihm gesagt , er habe mit Stress am Ende des 201@@ 4@@ -@@ 15 @-@ Lehr@@ jahres zu tun .
+Lam@@ b hatte zuvor die Delta State University für einen medizinischen Urlaub der Abwesenheit gefragt , er habe ein Gesundheits@@ thema der gewissen Art gehabt .
+in diesem Jahr habe er nur zwei Online @-@ Klassen unterrichtet .
+die jüngsten Veränderungen in der Einstellungs@@ politik der Universität haben dazu geführt , dass der promovierte Lam@@ b so hart gearbeitet hatte , um zu verdienen , würde ihm keine automatische Amtszeit garantieren , um ein Assist@@ enz@@ professor zu werden .
+der Präsident der Universität , William La@@ Forge , sagte , er habe von einem Konflikt zwischen Lam@@ b und Schmidt nichts gewusst , doch gab es offensichtlich in Herrn Lam@@ b &apos; s Geist etwas &quot; &quot; .
+das sind Fragen , die Lam@@ b nicht mehr beantworten können .
+nach der Flucht vor dem Campus holte die Polizei später Lam@@ mes Spur , als er von Arkan@@ sas in Mississippi zurück@@ kreu@@ zte .
+bevor er gefasst werden konnte , tö@@ tete Lam@@ b sich selbst mit einer einzigen .@@ 38@@ -@@ Kali@@ ber @-@ Pist@@ ole im Hinterhof eines Wohn@@ hauses rund eine Meile südlich seines Eltern@@ hauses am Stadtrand von Green@@ ville , Mississippi , sagte Washington County Cor@@ oner Me@@ th@@ el Johnson .
+sein Auto lief noch in der Einfahrt .
+es war nicht sofort klar , warum Lam@@ b in dieses Haus ging , obwohl Johnson sagte , dass er glaubt , dass er die Menschen kenne , die dort wohnten .
+Lamm wuchs in der Gegend auf .
+Lam@@ mert begann an der Universität , die 3.500 Studenten in einer Stadt von rund 12.000 , im Jahr 2009 und lehrte Ge@@ ografie und Bildung Klassen .
+er promovierte im Frühjahr in der Ausbildung .
+einer von Lam@@ mes langjährigen Freunden beschrieb ihn als smart , charism@@ atisch und lustig .
+Carla H@@ air@@ ston sagte , sie sei 15 und Lam@@ b war 20 , als sie sich durch gegenseitige Freunde trafen .
+Sie und ihre Freunde waren in der High@@ school , und er war der kühle ältere Ker@@ l , der mehrere Jahre lang versuchte , ihr beizu@@ bringen , Gitarre zu spielen .
+er war damals ganz der Herz@@ schlag .
+alle Mädchen würden schmelzen , wenn er um sich herum war &apos; , sagte H@@ air@@ ston , heute 40 und lebte im Jackson Vorort von Brand@@ on .
+Lamm und Pr@@ enti@@ ss hatten offenbar schon seit einiger Zeit aus .
+in der 911 @-@ Aufforderung , Lam@@ b sagte er meine Frau &apos; &apos; &apos; , aber es gab keine Aufzeichnungen von ihnen , die heiraten .
+Sie hatten einen Hund namens Ligh@@ tning , der mit ihnen im Back@@ stein@@ haus lebte , das sich bis zu einem Kö@@ der in Gau@@ tier hält .
+die Polizei erklärte , der Hund sei in Ordnung .
+Pr@@ enti@@ ss &apos; Ex @-@ Ehemann , Sha@@ wn O@@ &apos; Ste@@ en , sagte , sie ließen sich vor 15 Jahren scheiden , blieb aber Freunde und hatte eine Tochter , die jetzt 19 ist .
+er war völlig verwüstet &quot; , sagte O@@ &apos; Ste@@ en von seiner Tochter .
+Sie und ihre Mutter waren absolut beste Freunde .
+O@@ &apos; Ste@@ en sagte , er sei nicht auf Lam@@ b gestoßen , sondern habe durch seine Tochter A@@ big@@ ail gehört , dass Lam@@ b Interesse an Musik habe und spielte den Blues .
+Lamm traf Pr@@ enti@@ ss , als er und A@@ big@@ ail beide vor drei Jahren auf einer Sommer@@ messe auftraten .
+später spielten sie bei dem gelegent@@ lichen Auftritt zusammen .
+O@@ &apos; Ste@@ en sagte , seine Tochter schreibt und singt ihre eigene Musik .
+Pr@@ enti@@ ss war eine Krankenschwe@@ ster , die für verschiedene Unternehmen online arbeitete .
+Mike Sha@@ ffer , ein Bark@@ e@@ eper und manchmal Unterhaltungs@@ ko@@ ordinator im The Ju@@ le@@ p Room , ein wenig beleu@@ cht@@ eter Bar in der Nähe von Gau@@ tier , sagte , er habe zuletzt Lam@@ b und Pr@@ enti@@ ss die Nacht des Sept .
+es gab keinerlei Anzeichen dafür , dass irgendetwas nicht funktioniert .
+Ay@@ ta@@ et@@ al nur ein glück@@ liches Paar &apos; &apos; , sagte er .
+wir schnitten auf und warfen Z@@ ungen aneinander vorbei .
+ich meine , sie hatten beide ein gutes Gespür für sie .
+Schmidt , der getö@@ tete Professor , dirigi@@ erte das fir@@ st@@ - jährige Seminar@@ programm und spezialisierte sich auf Native American und koloniale Geschichte , sagte Don Allan Mitchell , ein englischer Professor an der Schule .
+er war verheiratet und hatte drei kleine Kinder .
+er studierte an der Empor@@ ia State University in Kansas und war Präsident seiner Brüder@@ - und Studenten@@ regierung .
+auf dem Delta State Campus in Cleveland am Dienst@@ ag@@ abend nahmen rund 900 Menschen , darunter Dozenten , Mitarbeiter , Studenten und Mitglieder der Gemeinde , an einem Cand@@ le@@ light @-@ Mahn@@ mal teil .
+Schmidt &apos; s Frau Li@@ z und der Bruder Jeff Schmidt nahmen ebenfalls an der Mahn@@ wache teil , in der der Hochschul@@ chor Dawn Stone Bright Star &apos; &apos; und ting @-@ o @-@ Ama@@ zing Grace sang . &apos; &quot;
+der Unterricht wird am Mittwoch wieder aufgenommen .
+unser Ziel ist es , dass unsere Studenten wieder@@ kommen &quot; , sagte La@@ Forge .
+die Krise ist vorbei .
+das ist ein Tag der Heilung .
+Amy und Ro@@ geli@@ o Soli@@ s berichteten aus Cleveland , Mississippi .
+die Presses@@ pre@@ cher Emily Wag@@ ster Pet@@ tus in Green@@ ville , Mississippi und Rebecca Sant@@ ana in New Orleans trugen zu diesem Bericht bei .
+diese Geschichte wurde korrigiert , um zu reflektieren , dass die Polizei jetzt sagen , Lam@@ b machte den 911 nach dem Schie@@ ßen Schmidt , und dass während Lam@@ b sprach Pr@@ enti@@ ss als seine Frau im 911 , gibt es keinen Hinweis , die zwei jemals gehei@@ ratet .
+Spielzeug R Us plant H@@ ire Fe@@ wer Holiday Season Workers
+Spielzeug R Us sagt , es wo nicht mieten so viele Urlaubs@@ zeit @-@ Mitarbeiter wie im letzten Jahr , aber der Spielzeug @-@ und Baby @-@ Produkte Händler sagt , es wird aktuellen Mitarbeitern und Saison@@ arbeitern eine Chance , mehr Stunden zu arbeiten .
+das Unternehmen erklärte , es plane , 40.000 Menschen für die Arbeit an Geschäften und Ver@@ teil@@ zentren rund um das Land einzustellen , von den 4@@ 5.000 für die Urlaubs@@ zeit 2014 .
+der Großteil der Jobs wird teil@@ zeit@@ abhängig sein .
+das Unternehmen erklärte , es werde in diesem Monat mit inter@@ view@@ ten Bewerbern beginnen , wobei das Personal@@ niveau von Oktober bis Dezember steigt .
+während die Ferien selbst Monate entfernt sind , rückt die Urlaubs@@ zeit näher , und die Unternehmen bereiten sich darauf vor , temporäre Mitarbeiter einzustellen , um den Mitarbeitern zu helfen , Produkte zu verkaufen , zu verkaufen , zu verkaufen , zu liefern und zu liefern .
+Michael J. Fox J@@ ok@@ es über Sein Verhandlung@@ stermin &quot; Mit Prinzessin Diana
+Michael J. Fox hat mit der Premiere von &quot; gewidmet , dass Michael J. Fox &quot; die Premiere feiern .
+bemerkenswert war das aus persönlichen Gründen auch .
+wir haben uns in der Theater@@ warte auf das roy@@ ale Warten eingelassen und ich merke , dass der Platz neben mir leer ist , und es dämm@@ ert mir , dass Prinzessin Diana neben mir sitzen wird &apos; , sagte er in einem Trailer zu einer kommenden Dokumentation , &quot; Forest @-@ Back in Time &quot; . &apos; &quot;
+der Film beginnt und es kommt mir vor , dass ich ein gefälschter G@@ äh@@ ne bin und einen Arm weg von einem Date mit der Princess of Wales bin .
+in der Zeit , in der es sich um das Projekt &quot; Reporter &quot; handelt , gibt es Interviews mit Fox , Le@@ a Thompson und Christopher Lloyd , sowie Regisseur Robert Zem@@ eck@@ is und Executive Producer Steven Spiel@@ berg .
+seit 30 Jahren &quot; Premiere für die Zukunft &quot; .
+wir sind überzeugt , dass es sich hier um den größten Kino@@ film handelt , der jemals auf Film geschrieben wurde . &apos; sagte Spiel@@ berg , der wohl größte Zeit@@ ver@@ trei@@ b @-@ Film überhaupt .
+das Programm wird auf VO@@ D , DVD und in ausgewählten Kin@@ ok@@ assen zur Verfügung stehen .
+un @-@ Che@@ fin Sa@@ ys Es gibt keine militärische Lösung in Syrien
+Generalsekretär Ban Ki@@ -@@ moon sagt , seine Antwort auf Russlands verstärkte militärische Unterstützung für Syrien sei , dass es keine militärische Lösung &quot; &apos; &quot; zum fast fünf@@ jährigen Konflikt gibt und weitere Waffen die Gewalt und das Elend für Millionen von Menschen verschlimmern .
+der UN @-@ Chef forderte erneut alle Parteien , auch den gespal@@ tenen UN @-@ Sicherheitsrat , auf , die inklu@@ siven Verhandlungen zu vereinen und zu unterstützen , um eine politische Lösung zu finden .
+Ban sagte einer Pressekonferenz am Mittwoch , er plane mit Außenminister der fünf ständigen Gemeinder@@ ats@@ nationen - den USA , Russland , China , Großbritannien und Frankreich - am Rande der Minister@@ sitzung der Generalversammlung noch in diesem Monat , um über Syrien zu beraten .
+er brachte sein Bedauern darüber zum Ausdruck , dass die Spaltung des Rates und der syrischen Bevölkerung und die Regional@@ mächte der Regional@@ mächte dieser Situation unlös@@ bar sind . &apos;
+Ban forderte die fünf ständigen Mitglieder auf , die Solidarität und Einigkeit zu zeigen , die sie bei der Verwirklichung eines iranischen Atom@@ abkommens bei der Bewältigung der Syrien @-@ Krise getan haben .
+8. Pol@@ l Zahlen , die Donald Trump zeigt
+einige haben versucht , ihm einen Fli@@ p@@ - Flo@@ p zu kennzeichnen .
+andere haben ihn als Witz ab@@ getan .
+und manche halten sich für eine Imp@@ lo@@ sion .
+doch egal wie manche Republikaner versuchen , Donald Trump von oben auf die Wahlur@@ nen zu schle@@ ppen , hat es nicht funktioniert -@@ L@@ R@@ B- und dennoch -@@ RR@@ B- .
+zehn der letzten elf nationalen Umfragen haben die Führung von Donald Trump im zwei@@ stelligen Bereich gezeigt , und manche fangen an , ernsthaft zu fragen , was es für die Nomini@@ erungs@@ möglichkeiten des Immobilien@@ mo@@ gul bedeutet .
+natürlich ist es noch früh im Wahl@@ zyklus .
diff --git a/tests/models/wmt17-ende/nematus.b6n.out b/tests/models/wmt17-ende/nematus.b6n.out
new file mode 100644
index 0000000..cf89763
--- /dev/null
+++ b/tests/models/wmt17-ende/nematus.b6n.out
@@ -0,0 +1,100 @@
+Obama empfängt Netanjahu
+das Verhältnis zwischen Obama und Netanjahu ist nicht gerade freundlich .
+die beiden wollten über die Umsetzung des internationalen Abkommens und über die destabili@@ sierenden Aktivitäten von Teheran im Nahen Osten sprechen .
+das Treffen war auch geplant , um den Konflikt mit den Palästinensern und die umstrittene Zwei @-@ Staaten @-@ Lösung zu vertu@@ schen .
+die Beziehungen zwischen Obama und Netanjahu sind seit Jahren an@@ gespannt .
+Washington kritisiert den kontinuierlichen Bau von Siedlungen in Israel und wirft Netanjahu mangelnde Initiative im Friedensprozess vor .
+das Verhältnis zwischen beiden hat sich aufgrund des Abkommens , das Obama über das iranische Nuklearprogramm ausgehandelt hat , weiter verschlechtert .
+im März hatte Netanjahu auf Einladung der Republikaner eine kontroverse Rede vor dem US @-@ Kongress gehalten , der teils als Aff@@ ront gegenüber Obama gesehen wurde .
+die Rede war nicht mit Obama , der ein Treffen mit dem Hinweis auf die Wahl , die damals in Israel an@@ stand , abgelehnt hatte .
+in 911 Call , Professor Ad@@ m@@ its zum Shooting Gir@@ l@@ friend
+in einem 911 , seiner Stimme nur leicht w@@ ac@@ ke@@ lig , erzählt College @-@ Profess@@ orin Shannon Lam@@ b der Polizei , er habe seine Freundin und die Beamten erschossen müssen , um in ihr Haus zu kommen .
+Lam@@ m@@ fleisch machte einen Punkt , um zu sagen , sein Stall @-@ süßen Hund &apos; &quot; war dort lebendig und wahrscheinlich aufgebracht und sagte , die Familien@@ kontakte der toten Frau könnten auf ihrem Telefon zu finden sein .
+im Inneren der Wohnung , die Beamten fanden Amy Pr@@ enti@@ ss &apos; s Körper und eine hand@@ schriftliche Notiz gekl@@ at@@ tete auf einem weißen juristischen Pad : mein Wunsch , ich könnte es mir gefallen lassen und sie ist die einzige Frau , die mich geliebt hat , und sie ist die einzige Frau , die von b b b b gelesen wurde .
+es gab keinen Hinweis darauf , dass Lam@@ b , der zwei Online @-@ Klassen für die Delta State University in Cleveland , Mississippi , unterrichtet hatte , bereits 300 Meilen auf den Campus der Schule reiste , wo die Polizei glaubt , dass er in der Haustür seines Büros einen gut ausseh@@ enden Geschichts@@ professor E@@ than Schmidt erschossen und umgebracht hat .
+der Poli@@ zeich@@ ef von Delta State University , L@@ ynn Bu@@ ford , erklärte den Universitäts@@ vertretern , dass sie um 10 : 18 Uhr gedreht haben .
+er sagte , Lam@@ b machte den schick@@ sal@@ haften 911 irgendwann danach .
+am Ende gäbe es noch einen weiteren Todes@@ fall : Lamm nahm sich das eigene Leben , als die Polizei in auf ihn geschlossen wurde .
+einen Tag nach dem Schul@@ schießen Zwangs@@ arbeiter und Dozenten , sich hinter verschlossenen Türen zu verstecken , versuchten die Behörden noch , zusammen welches motivierte Lamm zusammenzu@@ fügen .
+die von den Ermitt@@ lern an beiden Enden des Staates veröffentlichten Details sowie Schüler und Mitarbeiter , die ihn kannten , trugen dazu bei , ein Bild eines talenti@@ erten , aber möglicherweise an@@ geschlagenen Lehr@@ ers zu malen .
+die Schüler sagten , dass sie sich auf seine Klasse freuen .
+die Polizei in Gau@@ tier , wo Pr@@ enti@@ ss starb , sagte , er habe keine Geschichte der Gewalt oder des Strafre@@ gi@@ sters .
+Schmidt selbst hatte Lam@@ b in ein Buch aufgenommen , in dem er schrieb , wo er das Kultur @-@ Volk &quot; &quot; er teilte sein akade@@ misches Leben mit .
+beide ehrten in der Abteilung Sozialwissenschaften und Geschichte , die 17 Fakul@@ täts@@ mitglieder auf@@ listet , und viele Studenten nahmen Kurse von bei@@ dem entgegen .
+gleichzeitig gab es einige In@@ lin@@ ationen von Problemen .
+ein Schüler , der Lam@@ b lobte , Brand@@ on be@@ a@@ vers , sagte , er schien auf@@ gew@@ üh@@ lt und j@@ it@@ ter@@ isch , wie es bei ihm etwas falsch war . &apos; &apos;
+ein anderer Schüler , Mi@@ kel Sy@@ kes , sagte , Lam@@ b habe ihm gesagt , er habe mit Stress am Ende des 201@@ 4@@ -@@ 15 @-@ Lehr@@ jahres zu tun .
+Lam@@ b hatte zuvor die Delta State University für einen medizinischen Urlaub der Abwesenheit gefragt , er habe ein Gesundheits@@ thema der gewissen Art gehabt .
+in diesem Jahr habe er nur zwei Online @-@ Klassen unterrichtet .
+die jüngsten Veränderungen in der Einstellungs@@ politik der Universität haben dazu geführt , dass der promovierte Lam@@ b so hart gearbeitet hatte , um zu verdienen , würde ihm keine automatische Amtszeit garantieren , um ein Assist@@ enz@@ professor zu werden .
+der Präsident der Universität , William La@@ Forge , sagte , er habe von einem Konflikt zwischen Lam@@ b und Schmidt nichts gewusst , doch gab es offensichtlich in Herrn Lam@@ b &apos; s Geist etwas &quot; &quot; .
+das sind Fragen , die Lam@@ b nicht mehr beantworten können .
+nach der Flucht vor dem Campus holte die Polizei später Lam@@ mes Spur , als er von Arkan@@ sas in Mississippi zurück@@ kreu@@ zte .
+bevor er gefasst werden konnte , tö@@ tete Lam@@ b sich selbst mit einer einzigen .@@ 38@@ -@@ Kali@@ ber @-@ Pist@@ ole im Hinterhof eines Wohn@@ hauses rund eine Meile südlich seines Eltern@@ hauses am Stadtrand von Green@@ ville , Mississippi , sagte Washington County Cor@@ oner Me@@ th@@ el Johnson .
+sein Auto lief noch in der Einfahrt .
+es war nicht sofort klar , warum Lam@@ b in dieses Haus ging , obwohl Johnson sagte , dass er glaubt , dass er die Menschen kenne , die dort wohnten .
+Lamm wuchs in der Gegend auf .
+Lam@@ mert begann an der Universität , die 3.500 Studenten in einer Stadt von rund 12.000 , im Jahr 2009 und lehrte Ge@@ ografie und Bildung Klassen .
+er promovierte im Frühjahr in der Ausbildung .
+einer von Lam@@ mes langjährigen Freunden beschrieb ihn als smart , charism@@ atisch und lustig .
+Carla H@@ air@@ ston sagte , sie sei 15 und Lam@@ b war 20 , als sie sich durch gegenseitige Freunde trafen .
+Sie und ihre Freunde waren in der High@@ school , und er war der kühle ältere Ker@@ l , der mehrere Jahre lang versuchte , ihr beizu@@ bringen , Gitarre zu spielen .
+er war damals ganz der Herz@@ schlag .
+alle Mädchen würden schmelzen , wenn er um sich herum war &apos; , sagte H@@ air@@ ston , heute 40 und lebte im Jackson Vorort von Brand@@ on .
+Lamm und Pr@@ enti@@ ss hatten offenbar schon seit einiger Zeit aus .
+in der 911 @-@ Aufforderung , Lam@@ b sagte er meine Frau &apos; &apos; &apos; , aber es gab keine Aufzeichnungen von ihnen , die heiraten .
+Sie hatten einen Hund namens Ligh@@ tning , der mit ihnen im Back@@ stein@@ haus lebte , das sich bis zu einem Kö@@ der in Gau@@ tier hält .
+die Polizei erklärte , der Hund sei in Ordnung .
+Pr@@ enti@@ ss &apos; Ex @-@ Ehemann , Sha@@ wn O@@ &apos; Ste@@ en , sagte , sie ließen sich vor 15 Jahren scheiden , blieb aber Freunde und hatte eine Tochter , die jetzt 19 ist .
+er war völlig verwüstet &quot; , sagte O@@ &apos; Ste@@ en von seiner Tochter .
+Sie und ihre Mutter waren absolut beste Freunde .
+O@@ &apos; Ste@@ en sagte , er sei nicht auf Lam@@ b gestoßen , sondern habe durch seine Tochter A@@ big@@ ail gehört , dass Lam@@ b Interesse an Musik habe und spielte den Blues .
+Lamm traf Pr@@ enti@@ ss , als er und A@@ big@@ ail beide vor drei Jahren auf einer Sommer@@ messe auftraten .
+später spielten sie bei dem gelegent@@ lichen Auftritt zusammen .
+O@@ &apos; Ste@@ en sagte , seine Tochter schreibt und singt ihre eigene Musik .
+Pr@@ enti@@ ss war eine Krankenschwe@@ ster , die für verschiedene Unternehmen online arbeitete .
+Mike Sha@@ ffer , ein Bark@@ e@@ eper und manchmal Unterhaltungs@@ ko@@ ordinator im The Ju@@ le@@ p Room , ein wenig beleu@@ cht@@ eter Bar in der Nähe von Gau@@ tier , sagte , er habe zuletzt Lam@@ b und Pr@@ enti@@ ss die Nacht des Sept .
+es gab keinerlei Anzeichen dafür , dass irgendetwas nicht funktioniert .
+Ay@@ ta@@ et@@ al nur ein glück@@ liches Paar &apos; &apos; , sagte er .
+wir schnitten auf und warfen Z@@ ungen aneinander vorbei .
+ich meine , sie hatten beide ein gutes Gespür für sie .
+Schmidt , der getö@@ tete Professor , dirigi@@ erte das fir@@ st@@ - jährige Seminar@@ programm und spezialisierte sich auf Native American und koloniale Geschichte , sagte Don Allan Mitchell , ein englischer Professor an der Schule .
+er war verheiratet und hatte drei kleine Kinder .
+er studierte an der Empor@@ ia State University in Kansas und war Präsident seiner Brüder@@ - und Studenten@@ regierung .
+auf dem Delta State Campus in Cleveland am Dienst@@ ag@@ abend nahmen rund 900 Menschen , darunter Dozenten , Mitarbeiter , Studenten und Mitglieder der Gemeinde , an einem Cand@@ le@@ light @-@ Mahn@@ mal teil .
+Schmidt &apos; s Frau Li@@ z und der Bruder Jeff Schmidt nahmen ebenfalls an der Mahn@@ wache teil , in der der Hochschul@@ chor Dawn Stone Bright Star &apos; &apos; und ting @-@ o @-@ Ama@@ zing Grace sang . &apos; &quot;
+der Unterricht wird am Mittwoch wieder aufgenommen .
+unser Ziel ist es , dass unsere Studenten wieder@@ kommen &quot; , sagte La@@ Forge .
+die Krise ist vorbei .
+das ist ein Tag der Heilung .
+Amy und Ro@@ geli@@ o Soli@@ s berichteten aus Cleveland , Mississippi .
+die Presses@@ pre@@ cher Emily Wag@@ ster Pet@@ tus in Green@@ ville , Mississippi und Rebecca Sant@@ ana in New Orleans trugen zu diesem Bericht bei .
+diese Geschichte wurde korrigiert , um zu reflektieren , dass die Polizei jetzt sagen , Lam@@ b machte den 911 nach dem Schie@@ ßen Schmidt , und dass während Lam@@ b sprach Pr@@ enti@@ ss als seine Frau im 911 , gibt es keinen Hinweis , die zwei jemals gehei@@ ratet .
+Spielzeug R Us plant H@@ ire Fe@@ wer Holiday Season Workers
+Spielzeug R Us sagt , es wo nicht mieten so viele Urlaubs@@ zeit @-@ Mitarbeiter wie im letzten Jahr , aber der Spielzeug @-@ und Baby @-@ Produkte Händler sagt , es wird aktuellen Mitarbeitern und Saison@@ arbeitern eine Chance , mehr Stunden zu arbeiten .
+das Unternehmen erklärte , es plane , 40.000 Menschen für die Arbeit an Geschäften und Ver@@ teil@@ zentren rund um das Land einzustellen , von den 4@@ 5.000 für die Urlaubs@@ zeit 2014 .
+der Großteil der Jobs wird teil@@ zeit@@ abhängig sein .
+das Unternehmen erklärte , es werde in diesem Monat mit inter@@ view@@ ten Bewerbern beginnen , wobei das Personal@@ niveau von Oktober bis Dezember steigt .
+während die Ferien selbst Monate entfernt sind , rückt die Urlaubs@@ zeit näher , und die Unternehmen bereiten sich darauf vor , temporäre Mitarbeiter einzustellen , um den Mitarbeitern zu helfen , Produkte zu verkaufen , zu verkaufen , zu verkaufen , zu liefern und zu liefern .
+Michael J. Fox J@@ ok@@ es über Sein Verhandlung@@ stermin &quot; Mit Prinzessin Diana
+Michael J. Fox hat mit der Premiere von &quot; gewidmet , dass Michael J. Fox &quot; die Premiere feiern .
+bemerkenswert war das aus persönlichen Gründen auch .
+wir haben uns in der Theater@@ warte auf das roy@@ ale Warten eingelassen und ich merke , dass der Platz neben mir leer ist , und es dämm@@ ert mir , dass Prinzessin Diana neben mir sitzen wird &apos; , sagte er in einem Trailer zu einer kommenden Dokumentation , &quot; Forest @-@ Back in Time &quot; . &apos; &quot;
+der Film beginnt und es kommt mir vor , dass ich ein gefälschter G@@ äh@@ ne bin und einen Arm weg von einem Date mit der Princess of Wales bin .
+in der Zeit , in der es sich um das Projekt &quot; Reporter &quot; handelt , gibt es Interviews mit Fox , Le@@ a Thompson und Christopher Lloyd , sowie Regisseur Robert Zem@@ eck@@ is und Executive Producer Steven Spiel@@ berg .
+seit 30 Jahren &quot; Premiere für die Zukunft &quot; .
+wir sind überzeugt , dass es sich hier um den größten Kino@@ film handelt , der jemals auf Film geschrieben wurde . &apos; sagte Spiel@@ berg , der wohl größte Zeit@@ ver@@ trei@@ b @-@ Film überhaupt .
+das Programm wird auf VO@@ D , DVD und in ausgewählten Kin@@ ok@@ assen zur Verfügung stehen .
+un @-@ Che@@ fin Sa@@ ys Es gibt keine militärische Lösung in Syrien
+Generalsekretär Ban Ki@@ -@@ moon sagt , seine Antwort auf Russlands verstärkte militärische Unterstützung für Syrien sei , dass es keine militärische Lösung &quot; &apos; &quot; zum fast fünf@@ jährigen Konflikt gibt und weitere Waffen die Gewalt und das Elend für Millionen von Menschen verschlimmern .
+der UN @-@ Chef forderte erneut alle Parteien , auch den gespal@@ tenen UN @-@ Sicherheitsrat , auf , die inklu@@ siven Verhandlungen zu vereinen und zu unterstützen , um eine politische Lösung zu finden .
+Ban sagte einer Pressekonferenz am Mittwoch , er plane mit Außenminister der fünf ständigen Gemeinder@@ ats@@ nationen - den USA , Russland , China , Großbritannien und Frankreich - am Rande der Minister@@ sitzung der Generalversammlung noch in diesem Monat , um über Syrien zu beraten .
+er brachte sein Bedauern darüber zum Ausdruck , dass die Spaltung des Rates und der syrischen Bevölkerung und die Regional@@ mächte der Regional@@ mächte dieser Situation unlös@@ bar sind . &apos;
+Ban forderte die fünf ständigen Mitglieder auf , die Solidarität und Einigkeit zu zeigen , die sie bei der Verwirklichung eines iranischen Atom@@ abkommens bei der Bewältigung der Syrien @-@ Krise getan haben .
+8. Pol@@ l Zahlen , die Donald Trump zeigt
+einige haben versucht , ihm einen Fli@@ p@@ - Flo@@ p zu kennzeichnen .
+andere haben ihn als Witz ab@@ getan .
+und manche halten sich für eine Imp@@ lo@@ sion .
+doch egal wie manche Republikaner versuchen , Donald Trump von oben auf die Wahlur@@ nen zu schle@@ ppen , hat es nicht funktioniert -@@ L@@ R@@ B- und dennoch -@@ RR@@ B- .
+zehn der letzten elf nationalen Umfragen haben die Führung von Donald Trump im zwei@@ stelligen Bereich gezeigt , und manche fangen an , ernsthaft zu fragen , was es für die Nomini@@ erungs@@ möglichkeiten des Immobilien@@ mo@@ gul bedeutet .
+natürlich ist es noch früh im Wahl@@ zyklus .
diff --git a/tests/models/wmt17-ende/setup.sh b/tests/models/wmt17-ende/setup.sh
new file mode 100644
index 0000000..9062ba2
--- /dev/null
+++ b/tests/models/wmt17-ende/setup.sh
@@ -0,0 +1 @@
+test -f $MRT_MODELS/wmt17_systems/en-de/model.l2r.ens1.npz || exit 1
diff --git a/tests/models/wmt17-ende/test_translation_b6n.sh b/tests/models/wmt17-ende/test_translation_b6n.sh
new file mode 100644
index 0000000..a2a0918
--- /dev/null
+++ b/tests/models/wmt17-ende/test_translation_b6n.sh
@@ -0,0 +1,19 @@
+#!/bin/bash
+
+# Exit on error
+set -e
+
+rm -f marian.b6n.out
+
+# Run Marian
+$MRT_MARIAN/build/marian-decoder -c $MRT_MODELS/wmt17_systems/marian.en-de.yml -b 6 -n 1.0 < text.b6n.in > marian.b6n.out
+
+# Compare with Marian
+diff marian.b6n.out marian.b6n.expected > marian.b6n.diff
+
+# Compare with Nematus
+# The very first line is ommitted as it may differ due to a bug with GPU memory allocation
+diff <(tail -n +2 marian.b6n.out) <(tail -n +2 nematus.b6n.out) > nematus.b6n.diff
+
+# Exit with success code
+exit 0
diff --git a/tests/models/wmt17-ende/text.b6n.in b/tests/models/wmt17-ende/text.b6n.in
new file mode 100644
index 0000000..aa8252a
--- /dev/null
+++ b/tests/models/wmt17-ende/text.b6n.in
@@ -0,0 +1,100 @@
+Obama receives Netanyahu
+the relationship between Obama and Netanyahu is not exactly friendly .
+the two wanted to talk about the implementation of the international agreement and about Teheran &apos;s destabilising activities in the Middle East .
+the meeting was also planned to cover the conflict with the Palestinians and the disputed two state solution .
+relations between Obama and Netanyahu have been strained for years .
+Washington criticises the continuous building of settlements in Israel and acc@@ uses Netanyahu of a lack of initiative in the peace process .
+the relationship between the two has further deteriorated because of the deal that Obama negotiated on Iran &apos;s atomic programme , .
+in March , at the invitation of the Republicans , Netanyahu made a controversial speech to the US Congress , which was partly seen as an aff@@ ront to Obama .
+the speech had not been agreed with Obama , who had rejected a meeting with reference to the election that was at that time impending in Israel .
+in 911 Call , Professor Ad@@ m@@ its to Shooting Gir@@ l@@ friend
+in a 911 call , his voice only slightly sha@@ ky , college professor Shannon Lamb told police he had shot his girlfriend and officers needed to get over to their house .
+lamb made a point to say his `@@ ` sweet dog &apos;@@ &apos; was there alive and probably upset , and said the dead woman &apos;s family contacts could be found on her phone .
+inside the home , officers found Amy Pr@@ enti@@ ss &apos; body and a hand@@ -@@ written note scri@@ b@@ bled on a white legal pad : `@@ ` I am so very sorry I wish I could take it back I loved Amy and she is the only woman who ever loved me , &apos;@@ &apos; read the letter authorities say was signed by Lamb .
+there was no indication that Lamb , who was teaching two online classes for Delta State University in Cleveland , Mississippi , had already traveled 300 miles to the school &apos;s campus , where police believe he shot and killed a well@@ -@@ liked history professor , E@@ than Schmidt , in the door@@ way to his office .
+Delta State University police chief L@@ ynn Bu@@ ford said university officials heard about the shooting at 10 : 18 a.@@ m .
+he said Lamb made the f@@ ateful 911 call sometime after that .
+by the end of the day , there would be one more death : lamb took his own life as police closed in on him .
+a day after the school shooting forced students and faculty to hide behind locked doors , authorities were still trying to piece together what motivated Lamb .
+the details released by investigators at both ends of the state as well as students and staff who knew him helped paint a picture of a talented but possibly troubled teacher .
+students said they looked forward to his class .
+police in Gau@@ tier , where Pr@@ enti@@ ss died , said he had no history of violence or criminal record .
+Schmidt himself had included Lamb in a book he wrote where he acknowledged the `@@ ` wonderful people &apos;@@ &apos; he shared his academic life with .
+both taught in the Division of Social Sciences and History , which lists 17 faculty members , and many students took courses from both .
+at the same time , there were some inc@@ lin@@ ations of problems .
+a student who praised Lamb , Brand@@ on be@@ a@@ vers , said he also seemed agit@@ ated and j@@ it@@ tery , `@@ ` like there was something wrong with him . &apos;@@ &apos;
+another student , Mi@@ kel Sy@@ kes , said Lamb told him he was dealing with stress at the end of the 201@@ 4@@ -@@ 15 academic year .
+lamb had earlier asked Delta State University for a medical leave of absence , saying he had a health issue of some sort .
+this year , he was only teaching two online classes .
+recent changes in the university &apos;s hiring policies meant that the doctorate Lamb had worked so hard to earn would not guarantee him an automatic tenure track to become an assistant professor .
+University President William La@@ Forge said he did n@@ &apos;t know of any conflict between Lamb and Schmidt but `@@ ` obviously there was something in Mr. Lamb &apos;s mind . &apos;@@ &apos;
+those are questions Lamb can no longer answer .
+after fleeing the campus , police later picked up Lamb &apos;s trail when he crossed back into Mississippi from Arkan@@ sas .
+before he could be appreh@@ ended , Lamb killed himself with a single .@@ 38@@ -@@ cali@@ ber pi@@ stol in the backyard of a home about a mile south of his parents &apos; home on the outskirts of Green@@ ville , Mississippi , said Washington County Cor@@ oner Me@@ th@@ el Johnson .
+his car was still running in the dri@@ ve@@ way .
+it was not immediately clear why Lamb went to that home , though Johnson said she believes he knew the people who lived there .
+lamb grew up in the area .
+lamb started working at the university , which has 3,500 students in a city of about 12,000 , in 2009 and taught geography and education classes .
+he received a doctorate in education in the spring .
+one of Lamb &apos;s long@@ time friends described him as smart , charismatic and funny .
+Carla H@@ air@@ ston said she was 15 and Lamb was 20 when they met through mutual friends .
+she and her friends were in high school , and he was the cool older guy who tried for several years to teach her to play guitar .
+he was quite the heart@@ thro@@ b back then .
+all the girls would melt when he was around , &apos;@@ &apos; said H@@ air@@ ston , now 40 and living in the Jackson suburb of Brand@@ on .
+lamb and Pr@@ enti@@ ss had apparently been dating for some time .
+in the 911 call , Lamb said `@@ ` I killed my wife , &apos;@@ &apos; but there was no record of them ever mar@@ rying .
+they had a dog named Ligh@@ tning that lived with them at the brick house that backs up to a ba@@ you in Gau@@ tier .
+police said the dog was OK .
+Pr@@ enti@@ ss &apos; ex@@ -@@ husband , Sha@@ wn O@@ &apos;@@ Ste@@ en , said they divorced 15 years ago but remained friends and had a daughter who &apos;s now 19 .
+`@@ ` She was completely devastated , &apos;@@ &apos; O@@ &apos;@@ Ste@@ en said of his daughter .
+she and her mother were absolutely best friends .
+O@@ &apos;@@ Ste@@ en said he had not met Lamb but heard through his daughter A@@ big@@ ail that Lamb was interested in music and played the blues .
+lamb met Pr@@ enti@@ ss when he and A@@ big@@ ail both performed at a summer fair three years ago .
+later , they played together in the occasional gig .
+O@@ &apos;@@ Ste@@ en said his daughter writes and sings her own music .
+Pr@@ enti@@ ss was a nurse who worked for various companies online .
+Mike Sha@@ ffer , a bar@@ tender and sometimes entertainment coordinator at The Ju@@ le@@ p Room , a di@@ mly lit bar near Gau@@ tier , said he last saw Lamb and Pr@@ enti@@ ss the night of Sept . 5 , after Lamb had finished playing his guitar and harmon@@ ica for a sparse crowd .
+there was no sign of anything am@@ iss .
+`@@ ` Just a happy couple , &apos;@@ &apos; he said .
+we were cutting up and throwing one@@ -@@ liners at each other .
+I mean , they both had a good sense of wit about them .
+Schmidt , the slain professor , directed the fir@@ st@@ -@@ year seminar program and specialized in Native American and colonial history , said Don Allan Mitchell , an English professor at the school .
+he was married and had three young children .
+he studied at Empor@@ ia State University in Kansas and was president of his fraternity and student government .
+on the Delta State campus in Cleveland on Tuesday night , about 900 people , including faculty members , staff , students , and members of the community , attended a candle@@ light memorial .
+Schmidt &apos;s wife , Li@@ z , and brother Jeff Schmidt also attended the vigi@@ l , during which the university choir sang `@@ ` Bright Morning Star &apos;@@ &apos; and `@@ ` Ama@@ zing Grace . &apos;@@ &apos;
+classes resume Wednesday .
+`@@ ` We &apos;re trying to get our students to come back , &apos;@@ &apos; La@@ Forge said .
+the crisis is over .
+this is a day of healing .
+Amy and Ro@@ geli@@ o Soli@@ s reported from Cleveland , Mississippi .
+associated Press writers Emily Wag@@ ster Pet@@ tus in Green@@ ville , Mississippi , and Rebecca Sant@@ ana in New Orleans contributed to this report .
+this story has been corrected to reflect that police are now saying Lamb made the 911 call after shooting Schmidt , and that while Lamb referred to Pr@@ enti@@ ss as his wife in the 911 call , there is no indication the two ever married .
+toys R Us Plans to H@@ ire Fe@@ wer Holiday Season Workers
+toys R Us says it wo n@@ &apos;t hire as many holiday season employees as it did last year , but the toy and baby products retailer says it will give current employees and seasonal workers a chance to work more hours .
+the company said it plans to hire 40,000 people to work at stores and distribution centers around the country , down from the 45@@ ,000 hired for the 2014 holiday season .
+most of the jobs will be part@@ -@@ time .
+the company said it will start inter@@ viewing applicants this month , with staff levels rising from October through December .
+while the holidays themselves are months away , holiday shopping season is drawing closer and companies are preparing to hire temporary employees to help them staff stores and sell , ship and deliver products .
+Michael J. Fox J@@ okes About His ` Date &apos; With Princess Diana
+the premiere of `@@ ` Back to the Future &apos;@@ &apos; was a huge moment for Michael J. Fox professionally .
+it was noteworthy because of personal reasons , too .
+`@@ ` We were sitting in the theater waiting for the roy@@ als to come in and I realize that the seat next to me is empty , and it da@@ wns on me that Princess Diana is going to be sitting next to me , &apos;@@ &apos; he said in a trailer for an upcoming documentary , `@@ ` Back in Time . &apos;@@ &apos;
+the movie starts and it occurs to me that I &apos;m a fake ya@@ wn and an arm stretch away from being on a date with the Princess of Wales .
+`@@ ` Back in Time , &apos;@@ &apos; a documentary about `@@ ` Back to the Future , &apos;@@ &apos; features interviews with Fox , Le@@ a Thompson , and Christopher Lloyd , as well as director Robert Zem@@ eck@@ is , and executive producer Steven Spiel@@ berg .
+`@@ ` Back for the Future &apos;@@ &apos; premi@@ ered 30 years ago .
+`@@ ` It really is for me , &apos;@@ &apos; said Spiel@@ berg , `@@ ` in@@ arguably the greatest time travel movie ever put on film . &apos;@@ &apos;
+`@@ ` Back in Time &apos;@@ &apos; will be available on VO@@ D , DVD and in select movie theaters Oct .
+UN Chief Sa@@ ys There Is No Military Solution in Syria
+Secre@@ tar@@ y@@ -@@ General Ban Ki@@ -@@ moon says his response to Russia &apos;s stepped up military support for Syria is that `@@ ` there is no military solution &apos;@@ &apos; to the nearly fi@@ ve@@ -@@ year conflict and more weapons will only worsen the violence and misery for millions of people .
+the U.@@ N. chief again urged all parties , including the divided U.@@ N. Security Council , to unite and support inclusive negotiations to find a political solution .
+ban told a news conference Wednesday that he plans to meet with foreign ministers of the five permanent council nations - the U.S. , Russia , China , Britain and France - on the sidelines of the General Assembly &apos;s ministerial session later this month to discuss Syria .
+he expressed regret that divisions in the council and among the Syrian people and regional powers `@@ ` made this situation un@@ sol@@ vable . &apos;@@ &apos;
+ban urged the five permanent members to show the solidarity and unity they did in achieving an Iran nuclear deal in addressing the Syria crisis .
+8 Pol@@ l Numbers That Show Donald Trump Is For Real
+some have tried to label him a fli@@ p@@ -@@ flo@@ pper .
+others have dismissed him as a joke .
+and some are holding out for an implo@@ sion .
+but no matter how some Republicans are trying to drag Donald Trump down from atop the polls , it has n@@ &apos;t worked -@@ L@@ R@@ B@@ - yet -@@ RR@@ B@@ - .
+ten of the last 11 national polls have shown Donald Trump &apos;s lead at double digits , and some are starting to ask seriously what it means for the real estate mo@@ gul &apos;s nomination chances .
+of course , it &apos;s still early in the election cycle .