diff --git a/Xenith/token/token.h b/Xenith/token/token.h index 095bb55..e525595 100644 --- a/Xenith/token/token.h +++ b/Xenith/token/token.h @@ -11,21 +11,22 @@ public: std::map idToWord; Tokenizer() { - add(""); // 0 - add("[SYS]"); // 1 - add("[USER]"); // 2 - add("[AI]"); // 3 - add(" "); // 4 - add("\n"); // 5 - add("привет"); // 6 - add("как"); // 7 - add("дела"); // 8 - add("?"); // 9 - add("я"); // 10 - add("робот"); // 11 - add("хорошо"); // 12 + add(""); add("[SYS]"); add("[USER]"); add("[AI]"); add(" "); add("\n"); + add("."); add(","); add("!"); add("?"); add(":"); add(";"); add("-"); add("\""); add("("); add(")"); + add("а"); add("б"); add("в"); add("г"); add("д"); add("е"); add("ё"); add("ж"); + add("з"); add("и"); add("й"); add("к"); add("л"); add("м"); add("н"); add("о"); + add("п"); add("р"); add("с"); add("т"); add("у"); add("ф"); add("х"); add("ц"); + add("ч"); add("ш"); add("щ"); add("ъ"); add("ы"); add("ь"); add("э"); add("ю"); add("я"); + add("и"); add("в"); add("не"); add("на"); add("я"); add("что"); add("тот"); add("быть"); + add("с"); add("а"); add("весь"); add("это"); add("как"); add("она"); add("по"); add("но"); + add("они"); add("к"); add("у"); add("ты"); add("из"); add("мы"); add("за"); add("вы"); + add("привет"); add("дела"); add("робот"); add("хорошо"); add("спасибо"); + add("да"); add("нет"); add("могу"); add("помочь"); add("знаю"); add("кто"); + add("где"); add("когда"); add("почему"); add("хочу"); add("очень"); + add("тебя"); add("зовут"); add("BiPy"); } + void add(std::string word); int getID(std::string word); std::string getWord(int id);