Add test for marian-scorer --normalize

2 files changed, 1214 insertions, 0 deletions

diff --git a/tests/scorer/scores/nrm_scores.expected b/tests/scorer/scores/nrm_scores.expected
new file mode 100644
index 0000000..b1a8ddc
--- /dev/null
+++ b/tests/scorer/scores/nrm_scores.expected
@@ -0,0 +1,1200 @@
+-0.329282
+-0.331336
+-0.333449
+-0.334137
+-0.334894
+-0.336169
+-0.354073
+-0.359238
+-0.363122
+-0.368902
+-0.361987
+-0.371410
+-0.756738
+-0.813838
+-0.757998
+-0.764210
+-0.765355
+-0.768161
+-0.771539
+-0.772123
+-0.776024
+-0.777586
+-0.769159
+-0.770028
+-0.355863
+-0.397915
+-0.400898
+-0.390075
+-0.405385
+-0.405686
+-0.394195
+-0.377556
+-0.404886
+-0.394594
+-0.405861
+-0.453761
+-0.154310
+-0.215716
+-0.389034
+-0.493163
+-0.582442
+-0.582920
+-0.585545
+-0.553475
+-0.554360
+-0.612859
+-0.618815
+-0.726093
+-0.321336
+-0.318717
+-0.320208
+-0.314707
+-0.314506
+-0.316088
+-0.323116
+-0.330278
+-0.330680
+-0.325770
+-0.326788
+-0.328649
+-0.361347
+-0.361006
+-0.363813
+-0.366547
+-0.370721
+-0.387729
+-0.375266
+-0.380406
+-0.367278
+-0.370227
+-0.386930
+-0.376672
+-0.263819
+-0.251673
+-0.258442
+-0.262192
+-0.267262
+-0.263112
+-0.269803
+-0.284007
+-0.291440
+-0.269423
+-0.287225
+-0.284447
+-0.057503
+-0.335993
+-0.471158
+-0.456350
+-0.475136
+-0.480213
+-0.504975
+-0.513836
+-0.583262
+-0.530989
+-0.609026
+-0.600647
+-0.231215
+-0.312765
+-0.345071
+-0.381678
+-0.399373
+-0.372987
+-0.457127
+-0.414595
+-0.446016
+-0.496613
+-0.508841
+-0.513557
+-0.209830
+-0.372588
+-0.415679
+-0.407578
+-0.487521
+-0.792389
+-0.733141
+-0.863448
+-0.615869
+-0.805733
+-0.787600
+-0.922625
+-0.316748
+-0.329897
+-0.300591
+-0.327896
+-0.440416
+-0.358821
+-0.419000
+-0.380923
+-0.437945
+-0.439149
+-0.402212
+-0.408209
+-0.289537
+-0.312497
+-0.317552
+-0.320969
+-0.347192
+-0.356125
+-0.359701
+-0.350128
+-0.351935
+-0.380099
+-0.365925
+-0.385971
+-0.298238
+-0.306538
+-0.335377
+-0.395345
+-0.389858
+-0.395579
+-0.396235
+-0.401062
+-0.404393
+-0.439021
+-0.448169
+-0.414180
+-0.157283
+-0.268829
+-0.338175
+-0.437178
+-0.446754
+-0.570697
+-0.516369
+-0.571013
+-0.508774
+-0.592180
+-0.618888
+-0.552444
+-0.336217
+-0.361516
+-0.353419
+-0.361947
+-0.362258
+-0.364098
+-0.364686
+-0.365018
+-0.352569
+-0.364082
+-0.364159
+-0.367860
+-0.291032
+-0.313121
+-0.317923
+-0.334293
+-0.335444
+-0.357278
+-0.344553
+-0.388172
+-0.354050
+-0.378694
+-0.380194
+-0.367889
+-0.414097
+-0.481101
+-0.506958
+-0.521079
+-0.499912
+-0.511919
+-0.605758
+-0.575737
+-0.545227
+-0.547399
+-0.650009
+-0.563998
+-0.283946
+-0.387974
+-0.516375
+-0.568388
+-0.578402
+-0.659083
+-0.588705
+-0.693406
+-0.633038
+-0.596577
+-0.663153
+-0.608334
+-0.416374
+-0.426736
+-0.433540
+-0.452628
+-0.445019
+-0.423417
+-0.437855
+-0.446003
+-0.464721
+-0.430273
+-0.450230
+-0.474945
+-0.479934
+-0.460842
+-0.582695
+-0.659556
+-0.684123
+-0.702007
+-0.641914
+-0.643384
+-0.585179
+-0.672583
+-0.610552
+-0.711706
+-0.240311
+-0.235196
+-0.330817
+-0.350676
+-0.379282
+-0.408857
+-0.464702
+-0.472288
+-0.450122
+-0.457952
+-0.494888
+-0.509419
+-0.540184
+-0.527551
+-0.529778
+-0.515786
+-0.535183
+-0.555026
+-0.571492
+-0.571765
+-0.561490
+-0.564723
+-0.588840
+-0.592720
+-0.246441
+-0.340214
+-0.374977
+-0.376084
+-0.347601
+-0.377424
+-0.393230
+-0.382571
+-0.393243
+-0.443789
+-0.460848
+-0.465157
+-0.349863
+-0.357082
+-0.374736
+-0.375186
+-0.376963
+-0.369933
+-0.385232
+-0.376596
+-0.390839
+-0.391030
+-0.380510
+-0.396642
+-0.199742
+-0.220914
+-0.282916
+-0.265405
+-0.255310
+-0.279993
+-0.291436
+-0.300499
+-0.304239
+-0.352107
+-0.358942
+-0.351300
+-0.185502
+-0.325325
+-0.330815
+-0.381753
+-0.330062
+-0.338485
+-0.399552
+-0.403948
+-0.410772
+-0.518297
+-0.535175
+-0.590947
+-0.309104
+-0.367167
+-0.406716
+-0.468292
+-0.448592
+-0.583706
+-0.557017
+-0.486544
+-0.457998
+-0.466350
+-0.472970
+-0.506899
+-0.131803
+-0.164032
+-0.193031
+-0.208138
+-0.228716
+-0.218261
+-0.239719
+-0.242725
+-0.246042
+-0.253381
+-0.273816
+-0.253638
+-0.535692
+-0.562494
+-0.525622
+-0.643980
+-0.585623
+-0.600660
+-0.600734
+-0.555606
+-0.622769
+-0.661487
+-0.625511
+-0.633959
+-0.296944
+-0.305072
+-0.323050
+-0.327664
+-0.328304
+-0.331783
+-0.333765
+-0.340873
+-0.354005
+-0.358487
+-0.360263
+-0.352002
+-0.121366
+-0.275106
+-0.514197
+-0.529806
+-0.613660
+-0.551550
+-0.633438
+-0.642838
+-0.690613
+-0.711861
+-0.711953
+-0.634941
+-0.244440
+-0.254606
+-0.261097
+-0.265719
+-0.285304
+-0.298315
+-0.305974
+-0.306828
+-0.299667
+-0.331928
+-0.313423
+-0.319204
+-0.484649
+-0.571005
+-0.500083
+-0.605655
+-0.617601
+-0.521765
+-0.593334
+-0.697752
+-0.727878
+-0.733122
+-0.816294
+-0.912696
+-0.238482
+-0.261419
+-0.254728
+-0.272613
+-0.278977
+-0.292724
+-0.283124
+-0.289135
+-0.301724
+-0.301433
+-0.302687
+-0.312618
+-0.431206
+-0.458748
+-0.460406
+-0.448053
+-0.454547
+-0.460578
+-0.460758
+-0.538132
+-0.456009
+-0.460939
+-0.587410
+-0.526093
+-0.343439
+-0.348868
+-0.356767
+-0.367561
+-0.368482
+-0.371332
+-0.371641
+-0.384952
+-0.377226
+-0.388233
+-0.385442
+-0.396867
+-0.380914
+-0.395398
+-0.372762
+-0.390461
+-0.390533
+-0.395638
+-0.396123
+-0.388221
+-0.399936
+-0.407152
+-0.407559
+-0.406113
+-0.019703
+-0.280781
+-0.366078
+-0.505445
+-0.507676
+-0.552958
+-0.553864
+-0.567645
+-0.521191
+-0.584995
+-0.589372
+-0.603406
+-0.333381
+-0.496327
+-0.442638
+-0.482115
+-0.495589
+-0.459347
+-0.469751
+-0.552831
+-0.504940
+-0.580399
+-0.582317
+-0.589099
+-0.499771
+-0.508243
+-0.512638
+-0.519729
+-0.521846
+-0.509907
+-0.534443
+-0.535457
+-0.516152
+-0.523124
+-0.524189
+-0.525111
+-0.219309
+-0.305425
+-0.343053
+-0.334987
+-0.444577
+-0.378427
+-0.424155
+-0.363939
+-0.393871
+-0.400241
+-0.441007
+-0.402692
+-0.323907
+-0.306965
+-0.373529
+-0.353221
+-0.362087
+-0.390655
+-0.354788
+-0.416888
+-0.392798
+-0.423179
+-0.398265
+-0.463948
+-0.414620
+-0.425573
+-0.430570
+-0.422029
+-0.433046
+-0.426925
+-0.428518
+-0.429068
+-0.430651
+-0.436189
+-0.439508
+-0.447608
+-0.447289
+-0.452975
+-0.453222
+-0.453259
+-0.490518
+-0.508540
+-0.539313
+-0.521575
+-0.528559
+-0.592653
+-0.535297
+-0.538825
+-0.151163
+-0.178672
+-0.224960
+-0.217999
+-0.284403
+-0.256903
+-0.277428
+-0.252525
+-0.281595
+-0.269742
+-0.294010
+-0.360047
+-0.693781
+-0.698785
+-0.766308
+-0.697306
+-0.779065
+-0.782174
+-0.823876
+-0.796706
+-0.828099
+-0.793145
+-0.796619
+-0.883951
+-0.336694
+-0.341812
+-0.354116
+-0.355945
+-0.357003
+-0.364892
+-0.360847
+-0.367189
+-0.362086
+-0.376304
+-0.379595
+-0.379484
+-0.489825
+-0.500966
+-0.502182
+-0.513159
+-0.515155
+-0.529186
+-0.538113
+-0.546062
+-0.556475
+-0.567597
+-0.589394
+-0.603604
+-0.279362
+-0.338480
+-0.352790
+-0.371942
+-0.392019
+-0.406161
+-0.379584
+-0.417305
+-0.402600
+-0.430669
+-0.436667
+-0.410766
+-0.556290
+-0.516088
+-0.567012
+-0.545330
+-0.559043
+-0.569427
+-0.558903
+-0.569845
+-0.573053
+-0.576816
+-0.568259
+-0.577178
+-0.370680
+-0.374644
+-0.381411
+-0.381272
+-0.375140
+-0.383730
+-0.385116
+-0.382576
+-0.397784
+-0.416728
+-0.421554
+-0.421710
+-0.686169
+-0.740357
+-0.665724
+-0.661053
+-0.705629
+-0.671835
+-0.709377
+-0.676445
+-0.686393
+-0.624530
+-0.636595
+-0.709715
+-0.331110
+-0.355609
+-0.343849
+-0.350718
+-0.339311
+-0.349869
+-0.350157
+-0.359409
+-0.350614
+-0.353564
+-0.360894
+-0.361261
+-0.516340
+-0.502625
+-0.539568
+-0.510624
+-0.535551
+-0.539248
+-0.579257
+-0.539989
+-0.547095
+-0.574674
+-0.589555
+-0.632363
+-0.300694
+-0.316609
+-0.322749
+-0.325401
+-0.332031
+-0.333560
+-0.335442
+-0.350285
+-0.352637
+-0.345353
+-0.338428
+-0.340190
+-0.204948
+-0.213743
+-0.206356
+-0.213994
+-0.216739
+-0.222959
+-0.258612
+-0.287575
+-0.287893
+-0.279019
+-0.288663
+-0.292126
+-0.305339
+-0.315593
+-0.324907
+-0.329204
+-0.336521
+-0.338336
+-0.338593
+-0.339401
+-0.340410
+-0.342393
+-0.340971
+-0.359624
+-0.499572
+-0.635158
+-0.486080
+-0.520632
+-0.622120
+-0.540052
+-0.525060
+-0.562190
+-0.587733
+-0.562609
+-0.548484
+-0.576616
+-0.386504
+-0.367341
+-0.392859
+-0.394248
+-0.371482
+-0.413660
+-0.393813
+-0.381490
+-0.420550
+-0.422533
+-0.446231
+-0.415498
+-0.606194
+-0.623495
+-0.628476
+-0.629505
+-0.651569
+-0.617146
+-0.638462
+-0.646148
+-0.654246
+-0.654350
+-0.652784
+-0.679559
+-0.022966
+-0.734733
+-0.772001
+-0.955331
+-1.079804
+-1.095330
+-0.937591
+-1.159792
+-1.101088
+-1.396535
+-1.184184
+-1.217647
+-0.277229
+-0.383801
+-0.387685
+-0.410721
+-0.450727
+-0.510262
+-0.452891
+-0.515064
+-0.464105
+-0.430394
+-0.537338
+-0.515290
+-0.134009
+-0.239742
+-0.298678
+-0.433632
+-0.439617
+-0.397309
+-0.377587
+-0.384185
+-0.415675
+-0.440847
+-0.400074
+-0.434063
+-0.435465
+-0.438535
+-0.438375
+-0.439808
+-0.440063
+-0.441211
+-0.433565
+-0.436954
+-0.437049
+-0.437966
+-0.440632
+-0.441436
+-0.405866
+-0.418828
+-0.422502
+-0.426527
+-0.426751
+-0.438655
+-0.470642
+-0.448086
+-0.477034
+-0.472296
+-0.580393
+-0.597701
+-0.302661
+-0.312003
+-0.307725
+-0.315302
+-0.318246
+-0.313391
+-0.314088
+-0.326370
+-0.324869
+-0.352743
+-0.362370
+-0.363873
+-0.323690
+-0.433510
+-0.496400
+-0.468931
+-0.574507
+-0.435775
+-0.523329
+-0.477327
+-0.539273
+-0.497253
+-0.498369
+-0.510418
+-0.273557
+-0.281155
+-0.273341
+-0.289237
+-0.279724
+-0.292798
+-0.273044
+-0.285303
+-0.281152
+-0.340406
+-0.346582
+-0.359488
+-0.274945
+-0.280626
+-0.282566
+-0.289194
+-0.290802
+-0.291160
+-0.298925
+-0.300139
+-0.292516
+-0.297037
+-0.308917
+-0.310789
+-0.294189
+-0.308566
+-0.323687
+-0.322053
+-0.336733
+-0.336929
+-0.329830
+-0.320166
+-0.333920
+-0.336119
+-0.335121
+-0.346536
+-0.389271
+-0.392163
+-0.394165
+-0.396383
+-0.389382
+-0.406530
+-0.397000
+-0.397496
+-0.410853
+-0.398051
+-0.403937
+-0.404658
+-0.216315
+-0.221207
+-0.221630
+-0.226955
+-0.237561
+-0.243291
+-0.244798
+-0.241394
+-0.243194
+-0.248946
+-0.276873
+-0.275185
+-0.181775
+-0.204677
+-0.322442
+-0.335073
+-0.374316
+-0.303634
+-0.310940
+-0.311383
+-0.366346
+-0.433805
+-0.341153
+-0.343368
+-0.226259
+-0.227062
+-0.239905
+-0.242593
+-0.243918
+-0.272534
+-0.251028
+-0.269950
+-0.273004
+-0.266233
+-0.261987
+-0.315508
+-0.136631
+-0.171660
+-0.193832
+-0.190460
+-0.222136
+-0.220853
+-0.235968
+-0.247609
+-0.241107
+-0.245584
+-0.271115
+-0.292556
+-0.128511
+-0.129417
+-0.130135
+-0.131100
+-0.143415
+-0.144422
+-0.148716
+-0.149478
+-0.154391
+-0.155434
+-0.191613
+-0.191625
+-0.303221
+-0.306665
+-0.312749
+-0.355589
+-0.338775
+-0.310542
+-0.345257
+-0.364019
+-0.371300
+-0.340733
+-0.358620
+-0.344697
+-0.458525
+-0.465332
+-0.549539
+-0.485982
+-0.578530
+-0.502891
+-0.508815
+-0.553275
+-0.557397
+-0.560615
+-0.525502
+-0.570052
+-0.413844
+-0.422085
+-0.423323
+-0.424032
+-0.425634
+-0.426794
+-0.432065
+-0.432705
+-0.432259
+-0.439019
+-0.442358
+-0.448029
+-0.528293
+-0.530682
+-0.512463
+-0.530308
+-0.508770
+-0.538634
+-0.526183
+-0.539715
+-0.527916
+-0.518390
+-0.533781
+-0.522803
+-0.540101
+-0.550869
+-0.594040
+-0.557504
+-0.600100
+-0.604290
+-0.580752
+-0.616646
+-0.622692
+-0.569674
+-0.577189
+-0.601622
+-0.231681
+-0.491836
+-0.520514
+-0.629349
+-0.767660
+-0.678102
+-0.698566
+-0.889281
+-0.900028
+-0.901599
+-0.752252
+-0.752412
+-0.311783
+-0.316106
+-0.321184
+-0.354078
+-0.338263
+-0.359452
+-0.363438
+-0.364421
+-0.349909
+-0.380305
+-0.384577
+-0.370144
+-0.112885
+-0.187874
+-0.204307
+-0.292678
+-0.357504
+-0.483249
+-0.335260
+-0.379516
+-0.446736
+-0.446499
+-0.455993
+-0.391219
+-0.451176
+-0.837133
+-0.704871
+-1.089638
+-0.759428
+-0.763285
+-0.955615
+-1.075443
+-1.086091
+-0.916704
+-1.376561
+-0.914927
+-0.147093
+-0.164341
+-0.212736
+-0.283158
+-0.298265
+-0.356076
+-0.366777
+-0.367350
+-0.373697
+-0.383642
+-0.388149
+-0.377511
+-0.250205
+-0.251707
+-0.252659
+-0.254431
+-0.258598
+-0.260267
+-0.261051
+-0.262422
+-0.263036
+-0.264970
+-0.260769
+-0.263370
+-0.341507
+-0.375249
+-0.379571
+-0.399868
+-0.403559
+-0.396050
+-0.418953
+-0.403619
+-0.422473
+-0.424621
+-0.428775
+-0.431126
+-0.591717
+-0.662572
+-0.615815
+-0.647591
+-0.613038
+-0.731124
+-0.644131
+-0.673006
+-0.684134
+-0.643184
+-0.720924
+-0.646140
+-0.625731
+-0.689397
+-0.693937
+-0.709108
+-0.713396
+-0.659340
+-0.715598
+-0.615701
+-0.674375
+-0.732201
+-0.648590
+-0.839919
+-0.507625
+-0.448547
+-0.490930
+-0.487767
+-0.444241
+-0.537087
+-0.486345
+-0.498831
+-0.482962
+-0.546535
+-0.560509
+-0.586508
+-0.398492
+-0.405479
+-0.408361
+-0.413363
+-0.429565
+-0.419913
+-0.420038
+-0.421552
+-0.435713
+-0.436047
+-0.436845
+-0.450083
+-0.588042
+-0.586166
+-0.611542
+-0.612556
+-0.612873
+-0.590485
+-0.591333
+-0.607971
+-0.610076
+-0.610882
+-0.612082
+-0.612881
+-0.488498
+-0.445836
+-0.586092
+-0.496289
+-0.566389
+-0.568477
+-0.518556
+-0.573415
+-0.523206
+-0.527144
+-0.577909
+-0.675743
+-0.217852
+-0.362978
+-0.457412
+-0.364974
+-0.381112
+-0.363527
+-0.414296
+-0.422231
+-0.549923
+-0.473787
+-0.637575
+-0.506009
+-0.425732
+-0.421684
+-0.447446
+-0.452230
+-0.477552
+-0.440851
+-0.471684
+-0.453674
+-0.482975
+-0.483687
+-0.443782
+-0.458683
+-0.292382
+-0.314182
+-0.318110
+-0.316269
+-0.346869
+-0.347529
+-0.325722
+-0.334319
+-0.339419
+-0.347239
+-0.373290
+-0.369102
+-0.336729
+-0.321637
+-0.372535
+-0.413967
+-0.392288
+-0.401749
+-0.357212
+-0.387112
+-0.401746
+-0.416896
+-0.394874
+-0.409640
+-0.185792
+-0.256997
+-0.262014
+-0.275229
+-0.277668
+-0.271882
+-0.285508
+-0.288083
+-0.276840
+-0.281686
+-0.284112
+-0.286114
+-0.415680
+-0.419986
+-0.416639
+-0.462021
+-0.445271
+-0.481350
+-0.432077
+-0.433050
+-0.424661
+-0.508629
+-0.528179
+-0.534233
diff --git a/tests/scorer/scores/test_scores_normalized.sh b/tests/scorer/scores/test_scores_normalized.sh
new file mode 100644
index 0000000..43788fb
--- /dev/null
+++ b/tests/scorer/scores/test_scores_normalized.sh
@@ -0,0 +1,14 @@
+#!/bin/bash
+
+# Exit on error
+set -e
+
+# Run scorer
+$MRT_MARIAN/marian-scorer -c $MRT_MODELS/wmt16_systems/marian.en-de.scorer.yml \
+  -t $(pwd)/scores.src.in $(pwd)/scores.trg.in --normalize > nrm_scores.out
+
+# Compare scores
+$MRT_TOOLS/diff-nums.py nrm_scores.out nrm_scores.expected -p 0.0003 -o nrm_scores.diff
+
+# Exit with success code
+exit 0