7 lines
274 B
Plaintext
7 lines
274 B
Plaintext
// [token][layer][kv][head][dim]
|
|
struct TokenKV {
|
|
float k[num_heads][head_dim]; // Ключи всех голов этого слоя
|
|
float v[num_heads][head_dim]; // Значения всех голов этого слоя
|
|
};
|
|
|
|
TokenKV kv_cache[MAX_CTX][NUM_LAYERS]; |