Welcome to
mirror list
, hosted at
ThFree Co
, Russian Federation.
src - github.com/marian-nmt/sentencepiece.git - Unnamed repository; edit this file 'description' to name the repository.
index
:
github.com/marian-nmt/sentencepiece.git
anthonyaue/document_minexport_build
anthonyaue/remove_cr
anthonyaue/test_change
casing
gmaster
master
mjd/base64
mjd/casing
mjd/casing2
mjd/casing3
mjd/oldmaster
mjd/oldmaster2
noproto
rename-version
rjai/casing
rjai/fix_case_encoding_arg
sr
zhaogao/modify_batch_file
Unnamed repository; edit this file 'description' to name the repository.
www-data
summary
refs
log
tree
commit
diff
log msg
author
committer
range
path:
root
/
src
Mode
Name
Size
-rw-r--r--
CMakeLists.txt
10845
log
plain
-rw-r--r--
bpe_model.cc
6581
log
plain
-rw-r--r--
bpe_model.h
1625
log
plain
-rw-r--r--
bpe_model_test.cc
9294
log
plain
-rw-r--r--
bpe_model_trainer.cc
10266
log
plain
-rw-r--r--
bpe_model_trainer.h
4397
log
plain
-rw-r--r--
bpe_model_trainer_test.cc
4715
log
plain
-rw-r--r--
builder.cc
18593
log
plain
-rw-r--r--
builder.h
5113
log
plain
-rw-r--r--
builder_test.cc
7242
log
plain
d---------
builtin_pb
198
log
plain
-rw-r--r--
char_model.cc
1304
log
plain
-rw-r--r--
char_model.h
1072
log
plain
-rw-r--r--
char_model_test.cc
3525
log
plain
-rw-r--r--
char_model_trainer.cc
1747
log
plain
-rw-r--r--
char_model_trainer.h
1276
log
plain
-rw-r--r--
char_model_trainer_test.cc
2464
log
plain
-rw-r--r--
common.h
6095
log
plain
-rw-r--r--
compile_charsmap_main.cc
5644
log
plain
-rw-r--r--
error.cc
3831
log
plain
-rw-r--r--
filesystem.cc
3563
log
plain
-rw-r--r--
filesystem.h
1852
log
plain
-rw-r--r--
filesystem_test.cc
1547
log
plain
-rw-r--r--
flags.cc
6161
log
plain
-rw-r--r--
flags.h
3244
log
plain
-rw-r--r--
flags_test.cc
5251
log
plain
-rw-r--r--
freelist.h
2305
log
plain
-rw-r--r--
freelist_test.cc
631
log
plain
-rw-r--r--
model_factory.cc
1644
log
plain
-rw-r--r--
model_factory.h
983
log
plain
-rw-r--r--
model_factory_test.cc
1743
log
plain
-rw-r--r--
model_interface.cc
5945
log
plain
-rw-r--r--
model_interface.h
7736
log
plain
-rw-r--r--
model_interface_test.cc
14897
log
plain
-rw-r--r--
normalization_rule.h
7171725
log
plain
-rw-r--r--
normalizer.cc
10773
log
plain
-rw-r--r--
normalizer.h
5623
log
plain
-rw-r--r--
normalizer_test.cc
16017
log
plain
-rw-r--r--
pretokenizer_for_training.cc
2024
log
plain
-rw-r--r--
pretokenizer_for_training.h
2137
log
plain
-rw-r--r--
pretokenizer_for_training_test.cc
2654
log
plain
-rw-r--r--
sentencepiece.proto
2523
log
plain
-rw-r--r--
sentencepiece_model.proto
12951
log
plain
-rw-r--r--
sentencepiece_processor.cc
27871
log
plain
-rw-r--r--
sentencepiece_processor.h
18657
log
plain
-rw-r--r--
sentencepiece_processor_test.cc
46218
log
plain
-rw-r--r--
sentencepiece_trainer.cc
9494
log
plain
-rw-r--r--
sentencepiece_trainer.h
6523
log
plain
-rw-r--r--
sentencepiece_trainer_test.cc
13151
log
plain
-rw-r--r--
spec_parser.h
9730
log
plain
-rw-r--r--
spm_decode_main.cc
3623
log
plain
-rw-r--r--
spm_encode_main.cc
5803
log
plain
-rw-r--r--
spm_export_vocab_main.cc
1897
log
plain
-rw-r--r--
spm_normalize_main.cc
3878
log
plain
-rw-r--r--
spm_train_main.cc
9764
log
plain
-rw-r--r--
test_main.cc
1007
log
plain
-rw-r--r--
testharness.cc
1869
log
plain
-rw-r--r--
testharness.h
8612
log
plain
-rw-r--r--
trainer_factory.cc
2103
log
plain
-rw-r--r--
trainer_factory.h
1115
log
plain
-rw-r--r--
trainer_factory_test.cc
1656
log
plain
-rw-r--r--
trainer_interface.cc
25843
log
plain
-rw-r--r--
trainer_interface.h
5645
log
plain
-rw-r--r--
trainer_interface_test.cc
18736
log
plain
-rw-r--r--
unicode_script.cc
1184
log
plain
-rw-r--r--
unicode_script.h
2807
log
plain
-rw-r--r--
unicode_script_map.h
106416
log
plain
-rw-r--r--
unicode_script_test.cc
1525
log
plain
-rw-r--r--
unigram_model.cc
23805
log
plain
-rw-r--r--
unigram_model.h
5870
log
plain
-rw-r--r--
unigram_model_test.cc
23325
log
plain
-rw-r--r--
unigram_model_trainer.cc
18295
log
plain
-rw-r--r--
unigram_model_trainer.h
3890
log
plain
-rw-r--r--
unigram_model_trainer_test.cc
3218
log
plain
-rw-r--r--
util.cc
7229
log
plain
-rw-r--r--
util.h
11155
log
plain
-rw-r--r--
util_test.cc
12836
log
plain
-rw-r--r--
word_model.cc
1124
log
plain
-rw-r--r--
word_model.h
1056
log
plain
-rw-r--r--
word_model_test.cc
2650
log
plain
-rw-r--r--
word_model_trainer.cc
2013
log
plain
-rw-r--r--
word_model_trainer.h
1383
log
plain
-rw-r--r--
word_model_trainer_test.cc
2422
log
plain