Start devloping vulkan

2026-04-29 21:08:19 +07:00
parent c02a886327
commit 1a05d3a6d9
10 changed files with 70 additions and 37 deletions
@@ -0,0 +1,43 @@
+#ifndef TOKEN_H
+#define TOKEN_H
+
+#include <string>
+#include <vector>
+#include <map>
+
+class Tokenizer {
+public:
+    std::map<std::string, int> wordToId;
+    std::map<int, std::string> idToWord;
+
+    Tokenizer() {
+        add("<EOS>"); add("[SYS]"); add("[USER]"); add("[AI]"); add(" "); add("\n");
+        add("."); add(","); add("!"); add("?"); add(":"); add(";"); add("-"); add("\""); add("("); add(")");
+        add("а"); add("б"); add("в"); add("г"); add("д"); add("е"); add("ё"); add("ж");
+        add("з"); add("и"); add("й"); add("к"); add("л"); add("м"); add("н"); add("о");
+        add("п"); add("р"); add("с"); add("т"); add("у"); add("ф"); add("х"); add("ц");
+        add("ч"); add("ш"); add("щ"); add("ъ"); add("ы"); add("ь"); add("э"); add("ю"); add("я");
+        add("и"); add("в"); add("не"); add("на"); add("я"); add("что"); add("тот"); add("быть");
+        add("с"); add("а"); add("весь"); add("это"); add("как"); add("она"); add("по"); add("но");
+        add("они"); add("к"); add("у"); add("ты"); add("из"); add("мы"); add("за"); add("вы");
+        add("привет"); add("дела"); add("робот"); add("хорошо"); add("спасибо");
+        add("да"); add("нет"); add("могу"); add("помочь"); add("знаю"); add("кто");
+        add("где"); add("когда"); add("почему"); add("хочу"); add("очень");
+        add("тебя"); add("зовут"); add("BiPy");
+    }
+
+
+    void add(std::string word);
+    int getID(std::string word);
+    std::string getWord(int id);
+    std::vector<int> textToTokens(const std::string& text);
+};
+
+class Embedder {
+public:
+    std::vector<std::vector<double>> matrix;
+    Embedder(int vSize, int dim);
+    std::vector<double> get(int id);
+};
+
+#endif