diff options
| author | Taku Kudo <taku@google.com> | 2018-08-01 15:33:56 +0300 |
|---|---|---|
| committer | Taku Kudo <taku@google.com> | 2018-08-01 15:33:56 +0300 |
| commit | 9f824c82cb7beb78d6dd6cdc278e0344abcb304c (patch) | |
| tree | dedb961775d164f6be7a914a49ecc2e22b463741 /src/bpe_model_trainer_test.cc | |
| parent | aff191399d9cdb003b8c342527c65769ff62f49c (diff) | |
Added u8 literal to UTF8 string.
Diffstat (limited to 'src/bpe_model_trainer_test.cc')
| -rw-r--r-- | src/bpe_model_trainer_test.cc | 8 |
1 files changed, 4 insertions, 4 deletions
diff --git a/src/bpe_model_trainer_test.cc b/src/bpe_model_trainer_test.cc index 01e3864..2061952 100644 --- a/src/bpe_model_trainer_test.cc +++ b/src/bpe_model_trainer_test.cc @@ -111,10 +111,10 @@ TEST(BPETrainerTest, EndToEndTest) { EXPECT_TRUE(tok.empty()); EXPECT_OK(sp.Encode( - "吾輩《わがはい》は猫である。名前はまだ無い。" - "どこで生れたかとんと見当《けんとう》がつかぬ。" - "何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している" - "。", + u8"吾輩《わがはい》は猫である。名前はまだ無い。" + u8"どこで生れたかとんと見当《けんとう》がつかぬ。" + u8"何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している" + u8"。", &tok)); EXPECT_EQ(WS " 吾輩 《 わが はい 》 は猫 である 。 名前 はまだ 無い 。 " |