src - github.com/marian-nmt/sentencepiece.git - Unnamed repository; edit this file 'description' to name the repository.

Mode	Name	Size
-rw-r--r--	CMakeLists.txt	10845	log plain
-rw-r--r--	bpe_model.cc	6581	log plain
-rw-r--r--	bpe_model.h	1625	log plain
-rw-r--r--	bpe_model_test.cc	9294	log plain
-rw-r--r--	bpe_model_trainer.cc	10266	log plain
-rw-r--r--	bpe_model_trainer.h	4397	log plain
-rw-r--r--	bpe_model_trainer_test.cc	4715	log plain
-rw-r--r--	builder.cc	18593	log plain
-rw-r--r--	builder.h	5113	log plain
-rw-r--r--	builder_test.cc	7242	log plain
d---------	builtin_pb	198	log plain
-rw-r--r--	char_model.cc	1304	log plain
-rw-r--r--	char_model.h	1072	log plain
-rw-r--r--	char_model_test.cc	3525	log plain
-rw-r--r--	char_model_trainer.cc	1747	log plain
-rw-r--r--	char_model_trainer.h	1276	log plain
-rw-r--r--	char_model_trainer_test.cc	2464	log plain
-rw-r--r--	common.h	6095	log plain
-rw-r--r--	compile_charsmap_main.cc	5644	log plain
-rw-r--r--	error.cc	3831	log plain
-rw-r--r--	filesystem.cc	3563	log plain
-rw-r--r--	filesystem.h	1852	log plain
-rw-r--r--	filesystem_test.cc	1547	log plain
-rw-r--r--	flags.cc	6161	log plain
-rw-r--r--	flags.h	3244	log plain
-rw-r--r--	flags_test.cc	5251	log plain
-rw-r--r--	freelist.h	2305	log plain
-rw-r--r--	freelist_test.cc	631	log plain
-rw-r--r--	model_factory.cc	1644	log plain
-rw-r--r--	model_factory.h	983	log plain
-rw-r--r--	model_factory_test.cc	1743	log plain
-rw-r--r--	model_interface.cc	5945	log plain
-rw-r--r--	model_interface.h	7736	log plain
-rw-r--r--	model_interface_test.cc	14897	log plain
-rw-r--r--	normalization_rule.h	7171725	log plain
-rw-r--r--	normalizer.cc	10773	log plain
-rw-r--r--	normalizer.h	5623	log plain
-rw-r--r--	normalizer_test.cc	16017	log plain
-rw-r--r--	pretokenizer_for_training.cc	2024	log plain
-rw-r--r--	pretokenizer_for_training.h	2137	log plain
-rw-r--r--	pretokenizer_for_training_test.cc	2654	log plain
-rw-r--r--	sentencepiece.proto	2523	log plain
-rw-r--r--	sentencepiece_model.proto	12951	log plain
-rw-r--r--	sentencepiece_processor.cc	27871	log plain
-rw-r--r--	sentencepiece_processor.h	18657	log plain
-rw-r--r--	sentencepiece_processor_test.cc	46218	log plain
-rw-r--r--	sentencepiece_trainer.cc	9494	log plain
-rw-r--r--	sentencepiece_trainer.h	6523	log plain
-rw-r--r--	sentencepiece_trainer_test.cc	13151	log plain
-rw-r--r--	spec_parser.h	9730	log plain
-rw-r--r--	spm_decode_main.cc	3623	log plain
-rw-r--r--	spm_encode_main.cc	5803	log plain
-rw-r--r--	spm_export_vocab_main.cc	1897	log plain
-rw-r--r--	spm_normalize_main.cc	3878	log plain
-rw-r--r--	spm_train_main.cc	9764	log plain
-rw-r--r--	test_main.cc	1007	log plain
-rw-r--r--	testharness.cc	1869	log plain
-rw-r--r--	testharness.h	8612	log plain
-rw-r--r--	trainer_factory.cc	2103	log plain
-rw-r--r--	trainer_factory.h	1115	log plain
-rw-r--r--	trainer_factory_test.cc	1656	log plain
-rw-r--r--	trainer_interface.cc	25843	log plain
-rw-r--r--	trainer_interface.h	5645	log plain
-rw-r--r--	trainer_interface_test.cc	18736	log plain
-rw-r--r--	unicode_script.cc	1184	log plain
-rw-r--r--	unicode_script.h	2807	log plain
-rw-r--r--	unicode_script_map.h	106416	log plain
-rw-r--r--	unicode_script_test.cc	1525	log plain
-rw-r--r--	unigram_model.cc	23805	log plain
-rw-r--r--	unigram_model.h	5870	log plain
-rw-r--r--	unigram_model_test.cc	23325	log plain
-rw-r--r--	unigram_model_trainer.cc	18295	log plain
-rw-r--r--	unigram_model_trainer.h	3890	log plain
-rw-r--r--	unigram_model_trainer_test.cc	3218	log plain
-rw-r--r--	util.cc	7229	log plain
-rw-r--r--	util.h	11155	log plain
-rw-r--r--	util_test.cc	12836	log plain
-rw-r--r--	word_model.cc	1124	log plain
-rw-r--r--	word_model.h	1056	log plain
-rw-r--r--	word_model_test.cc	2650	log plain
-rw-r--r--	word_model_trainer.cc	2013	log plain
-rw-r--r--	word_model_trainer.h	1383	log plain
-rw-r--r--	word_model_trainer_test.cc	2422	log plain