src - github.com/marian-nmt/sentencepiece.git - Unnamed repository; edit this file 'description' to name the repository.

Mode	Name	Size
-rw-r--r--	CMakeLists.txt	11214	log plain
-rw-r--r--	bpe_model.cc	6649	log plain
-rw-r--r--	bpe_model.h	1748	log plain
-rw-r--r--	bpe_model_test.cc	9294	log plain
-rw-r--r--	bpe_model_trainer.cc	10322	log plain
-rw-r--r--	bpe_model_trainer.h	4416	log plain
-rw-r--r--	bpe_model_trainer_test.cc	4850	log plain
-rw-r--r--	builder.cc	18400	log plain
-rw-r--r--	builder.h	5102	log plain
-rw-r--r--	builder_test.cc	7354	log plain
d---------	builtin_pb	198	log plain
-rw-r--r--	char_model.cc	1304	log plain
-rw-r--r--	char_model.h	1061	log plain
-rw-r--r--	char_model_test.cc	3525	log plain
-rw-r--r--	char_model_trainer.cc	1782	log plain
-rw-r--r--	char_model_trainer.h	1265	log plain
-rw-r--r--	char_model_trainer_test.cc	2506	log plain
-rw-r--r--	common.h	6037	log plain
-rw-r--r--	compile_charsmap_main.cc	5713	log plain
-rw-r--r--	error.cc	3831	log plain
-rw-r--r--	filesystem.cc	3563	log plain
-rw-r--r--	filesystem.h	1852	log plain
-rw-r--r--	filesystem_test.cc	1577	log plain
-rw-r--r--	freelist.h	2345	log plain
-rw-r--r--	freelist_test.cc	1221	log plain
-rw-r--r--	init.cc	1123	log plain
-rw-r--r--	init.h	824	log plain
-rw-r--r--	init_test.cc	5221	log plain
-rw-r--r--	model_factory.cc	1644	log plain
-rw-r--r--	model_factory.h	972	log plain
-rw-r--r--	model_factory_test.cc	1743	log plain
-rw-r--r--	model_interface.cc	5935	log plain
-rw-r--r--	model_interface.h	8036	log plain
-rw-r--r--	model_interface_test.cc	14927	log plain
-rw-r--r--	normalization_rule.h	7171725	log plain
-rw-r--r--	normalizer.cc	11634	log plain
-rw-r--r--	normalizer.h	5835	log plain
-rw-r--r--	normalizer_test.cc	16157	log plain
-rw-r--r--	pretokenizer_for_training.cc	2024	log plain
-rw-r--r--	pretokenizer_for_training.h	2126	log plain
-rw-r--r--	pretokenizer_for_training_test.cc	2654	log plain
-rw-r--r--	sentencepiece.proto	2523	log plain
-rw-r--r--	sentencepiece_model.proto	12684	log plain
-rw-r--r--	sentencepiece_processor.cc	28321	log plain
-rw-r--r--	sentencepiece_processor.h	18730	log plain
-rw-r--r--	sentencepiece_processor_test.cc	47163	log plain
-rw-r--r--	sentencepiece_trainer.cc	10014	log plain
-rw-r--r--	sentencepiece_trainer.h	6527	log plain
-rw-r--r--	sentencepiece_trainer_test.cc	13402	log plain
-rw-r--r--	spec_parser.h	9758	log plain
-rw-r--r--	spm_decode_main.cc	3954	log plain
-rw-r--r--	spm_encode_main.cc	6446	log plain
-rw-r--r--	spm_export_vocab_main.cc	2035	log plain
-rw-r--r--	spm_normalize_main.cc	4163	log plain
-rw-r--r--	spm_train_main.cc	11650	log plain
-rw-r--r--	test_main.cc	1026	log plain
-rw-r--r--	testharness.cc	1958	log plain
-rw-r--r--	testharness.h	8694	log plain
-rw-r--r--	trainer_factory.cc	2103	log plain
-rw-r--r--	trainer_factory.h	1104	log plain
-rw-r--r--	trainer_factory_test.cc	1656	log plain
-rw-r--r--	trainer_interface.cc	25358	log plain
-rw-r--r--	trainer_interface.h	5727	log plain
-rw-r--r--	trainer_interface_test.cc	18860	log plain
-rw-r--r--	unicode_script.cc	1239	log plain
-rw-r--r--	unicode_script.h	2807	log plain
-rw-r--r--	unicode_script_map.h	106446	log plain
-rw-r--r--	unicode_script_test.cc	1525	log plain
-rw-r--r--	unigram_model.cc	23805	log plain
-rw-r--r--	unigram_model.h	5990	log plain
-rw-r--r--	unigram_model_test.cc	23314	log plain
-rw-r--r--	unigram_model_trainer.cc	18513	log plain
-rw-r--r--	unigram_model_trainer.h	3879	log plain
-rw-r--r--	unigram_model_trainer_test.cc	3321	log plain
-rw-r--r--	util.cc	7595	log plain
-rw-r--r--	util.h	11350	log plain
-rw-r--r--	util_test.cc	12866	log plain
-rw-r--r--	word_model.cc	1124	log plain
-rw-r--r--	word_model.h	1045	log plain
-rw-r--r--	word_model_test.cc	2639	log plain
-rw-r--r--	word_model_trainer.cc	2101	log plain
-rw-r--r--	word_model_trainer.h	1372	log plain
-rw-r--r--	word_model_trainer_test.cc	2464	log plain