Обновить Xenith/token/token.h

Xenith/token/token.h

@@ -11,21 +11,22 @@ public:
     std::map<int, std::string> idToWord;
 
     Tokenizer() {
-        add("<EOS>");      // 0
+        add("<EOS>"); add("[SYS]"); add("[USER]"); add("[AI]"); add(" "); add("\n");
-        add("[SYS]");      // 1
+        add("."); add(","); add("!"); add("?"); add(":"); add(";"); add("-"); add("\""); add("("); add(")");
-        add("[USER]");     // 2
+        add("а"); add("б"); add("в"); add("г"); add("д"); add("е"); add("ё"); add("ж");
-        add("[AI]");       // 3
+        add("з"); add("и"); add("й"); add("к"); add("л"); add("м"); add("н"); add("о");
-        add(" ");          // 4
+        add("п"); add("р"); add("с"); add("т"); add("у"); add("ф"); add("х"); add("ц");
-        add("\n");         // 5
+        add("ч"); add("ш"); add("щ"); add("ъ"); add("ы"); add("ь"); add("э"); add("ю"); add("я");
-        add("привет");     // 6
+        add("и"); add("в"); add("не"); add("на"); add("я"); add("что"); add("тот"); add("быть");
-        add("как");        // 7
+        add("с"); add("а"); add("весь"); add("это"); add("как"); add("она"); add("по"); add("но");
-        add("дела");       // 8
+        add("они"); add("к"); add("у"); add("ты"); add("из"); add("мы"); add("за"); add("вы");
-        add("?");          // 9
+        add("привет"); add("дела"); add("робот"); add("хорошо"); add("спасибо");
-        add("я");          // 10
+        add("да"); add("нет"); add("могу"); add("помочь"); add("знаю"); add("кто");
-        add("робот");      // 11
+        add("где"); add("когда"); add("почему"); add("хочу"); add("очень");
-        add("хорошо");     // 12
+        add("тебя"); add("зовут"); add("BiPy");
     }
 
+
     void add(std::string word);
     int getID(std::string word);
     std::string getWord(int id);