src - github.com/marian-nmt/sentencepiece.git - Unnamed repository; edit this file 'description' to name the repository.

Mode	Name	Size
-rw-r--r--	CMakeLists.txt	10906	log plain
-rw-r--r--	bpe_model.cc	6581	log plain
-rw-r--r--	bpe_model.h	1757	log plain
-rw-r--r--	bpe_model_test.cc	9294	log plain
-rw-r--r--	bpe_model_trainer.cc	10266	log plain
-rw-r--r--	bpe_model_trainer.h	4397	log plain
-rw-r--r--	bpe_model_trainer_test.cc	4850	log plain
-rw-r--r--	builder.cc	18324	log plain
-rw-r--r--	builder.h	5113	log plain
-rw-r--r--	builder_test.cc	7354	log plain
d---------	builtin_pb	198	log plain
-rw-r--r--	char_model.cc	1304	log plain
-rw-r--r--	char_model.h	1072	log plain
-rw-r--r--	char_model_test.cc	3525	log plain
-rw-r--r--	char_model_trainer.cc	1747	log plain
-rw-r--r--	char_model_trainer.h	1276	log plain
-rw-r--r--	char_model_trainer_test.cc	2506	log plain
-rw-r--r--	common.h	6057	log plain
-rw-r--r--	compile_charsmap_main.cc	5713	log plain
-rw-r--r--	error.cc	3831	log plain
-rw-r--r--	filesystem.cc	3563	log plain
-rw-r--r--	filesystem.h	1852	log plain
-rw-r--r--	filesystem_test.cc	1577	log plain
-rw-r--r--	freelist.h	2345	log plain
-rw-r--r--	freelist_test.cc	631	log plain
-rw-r--r--	init.cc	1123	log plain
-rw-r--r--	init.h	824	log plain
-rw-r--r--	init_test.cc	5078	log plain
-rw-r--r--	model_factory.cc	1644	log plain
-rw-r--r--	model_factory.h	983	log plain
-rw-r--r--	model_factory_test.cc	1743	log plain
-rw-r--r--	model_interface.cc	5945	log plain
-rw-r--r--	model_interface.h	7980	log plain
-rw-r--r--	model_interface_test.cc	14897	log plain
-rw-r--r--	normalization_rule.h	7171725	log plain
-rw-r--r--	normalizer.cc	10773	log plain
-rw-r--r--	normalizer.h	5623	log plain
-rw-r--r--	normalizer_test.cc	16017	log plain
-rw-r--r--	pretokenizer_for_training.cc	2024	log plain
-rw-r--r--	pretokenizer_for_training.h	2137	log plain
-rw-r--r--	pretokenizer_for_training_test.cc	2654	log plain
-rw-r--r--	sentencepiece.proto	2523	log plain
-rw-r--r--	sentencepiece_model.proto	12951	log plain
-rw-r--r--	sentencepiece_processor.cc	28144	log plain
-rw-r--r--	sentencepiece_processor.h	18495	log plain
-rw-r--r--	sentencepiece_processor_test.cc	46416	log plain
-rw-r--r--	sentencepiece_trainer.cc	10036	log plain
-rw-r--r--	sentencepiece_trainer.h	6527	log plain
-rw-r--r--	sentencepiece_trainer_test.cc	13413	log plain
-rw-r--r--	spec_parser.h	9730	log plain
-rw-r--r--	spm_decode_main.cc	3965	log plain
-rw-r--r--	spm_encode_main.cc	6306	log plain
-rw-r--r--	spm_export_vocab_main.cc	2046	log plain
-rw-r--r--	spm_normalize_main.cc	4185	log plain
-rw-r--r--	spm_train_main.cc	10162	log plain
-rw-r--r--	test_main.cc	1026	log plain
-rw-r--r--	testharness.cc	1958	log plain
-rw-r--r--	testharness.h	8694	log plain
-rw-r--r--	trainer_factory.cc	2103	log plain
-rw-r--r--	trainer_factory.h	1115	log plain
-rw-r--r--	trainer_factory_test.cc	1656	log plain
-rw-r--r--	trainer_interface.cc	25648	log plain
-rw-r--r--	trainer_interface.h	5707	log plain
-rw-r--r--	trainer_interface_test.cc	18859	log plain
-rw-r--r--	unicode_script.cc	1184	log plain
-rw-r--r--	unicode_script.h	2807	log plain
-rw-r--r--	unicode_script_map.h	106416	log plain
-rw-r--r--	unicode_script_test.cc	1525	log plain
-rw-r--r--	unigram_model.cc	23805	log plain
-rw-r--r--	unigram_model.h	6001	log plain
-rw-r--r--	unigram_model_test.cc	23325	log plain
-rw-r--r--	unigram_model_trainer.cc	18295	log plain
-rw-r--r--	unigram_model_trainer.h	3890	log plain
-rw-r--r--	unigram_model_trainer_test.cc	3332	log plain
-rw-r--r--	util.cc	7229	log plain
-rw-r--r--	util.h	11155	log plain
-rw-r--r--	util_test.cc	12866	log plain
-rw-r--r--	word_model.cc	1124	log plain
-rw-r--r--	word_model.h	1056	log plain
-rw-r--r--	word_model_test.cc	2650	log plain
-rw-r--r--	word_model_trainer.cc	2013	log plain
-rw-r--r--	word_model_trainer.h	1383	log plain
-rw-r--r--	word_model_trainer_test.cc	2464	log plain