Welcome to mirror list, hosted at ThFree Co, Russian Federation.

github.com/marian-nmt/sentencepiece.git - Unnamed repository; edit this file 'description' to name the repository.
summaryrefslogtreecommitdiff
diff options
context:
space:
mode:
authorTaku Kudo <taku@google.com>2018-08-05 05:33:17 +0300
committerTaku Kudo <taku@google.com>2018-08-05 05:33:17 +0300
commit9de12b5e7d680853f73ad6aab6603ea3e74ba8b0 (patch)
tree7bd56caa1824f6050348d6f20ca2bb4c1dca59be /src/bpe_model_trainer_test.cc
parentc93b4d15cdfe33dcab3e091d141882d9ce18deeb (diff)
Enable unittest on Windows
Diffstat (limited to 'src/bpe_model_trainer_test.cc')
-rw-r--r--src/bpe_model_trainer_test.cc16
1 files changed, 8 insertions, 8 deletions
diff --git a/src/bpe_model_trainer_test.cc b/src/bpe_model_trainer_test.cc
index 7a9c17d..944a963 100644
--- a/src/bpe_model_trainer_test.cc
+++ b/src/bpe_model_trainer_test.cc
@@ -109,16 +109,16 @@ TEST(BPETrainerTest, EndToEndTest) {
EXPECT_TRUE(tok.empty());
EXPECT_OK(sp.Encode(
- u8"吾輩《わがはい》は猫である。名前はまだ無い。"
- u8"どこで生れたかとんと見当《けんとう》がつかぬ。"
- u8"何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している"
- u8"。",
+ "吾輩《わがはい》は猫である。名前はまだ無い。"
+ "どこで生れたかとんと見当《けんとう》がつかぬ。"
+ "何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している"
+ "。",
&tok));
EXPECT_EQ(WS
- u8" 吾輩 《 わが はい 》 は猫 である 。 名前 はまだ 無い 。 "
- u8"どこで 生 れた か とん と見 当 《 けんとう 》 が つかぬ 。 "
- u8"何でも 薄 暗 いじ め じ め した 所で ニャー ニャー 泣 いていた "
- u8"事 だけは 記憶 している 。",
+ " 吾輩 《 わが はい 》 は猫 である 。 名前 はまだ 無い 。 "
+ "どこで 生 れた か とん と見 当 《 けんとう 》 が つかぬ 。 "
+ "何でも 薄 暗 いじ め じ め した 所で ニャー ニャー 泣 いていた "
+ "事 だけは 記憶 している 。",
string_util::Join(tok, " "));
}