Gemma 4 E2B β€” 1C:Enterprise Query Assistant (GGUF)

МодСль Gemma 4 E2B, дообучСнная (fine-tuned) с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊΠ° Unsloth для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ, Π°Π½Π°Π»ΠΈΠ·Π° ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ запросов Π½Π° языкС запросов 1Π‘:ΠŸΡ€Π΅Π΄ΠΏΡ€ΠΈΡΡ‚ΠΈΠ΅ 8.

МодСль сконвСртирована Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ GGUF ΠΈ Π³ΠΎΡ‚ΠΎΠ²Π° ΠΊ Π»ΠΎΠΊΠ°Π»ΡŒΠ½ΠΎΠΌΡƒ запуску Π² llama.cpp, Ollama, LM Studio ΠΈ Open WebUI.

ДоступныС вСрсии (ΠšΠ²Π°Π½Ρ‚ΠΎΠ²Π°Π½ΠΈΠ΅)

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ прСдставлСны Π΄Π²Π° Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Π° сТатия ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠΎΠ΄ Ρ€Π°Π·Π½Ρ‹Π΅ ΠΎΠ±ΡŠΡ‘ΠΌΡ‹ видСопамяти (VRAM):

Π€Π°ΠΉΠ» ΠšΠ²Π°Π½Ρ‚ΠΎΠ²Π°Π½ΠΈΠ΅ ОписаниС ΠΈ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°Ρ†ΠΈΠΈ
Gemma-4-e2b-it.Q8_0.gguf Q8_0 (8-Π±ΠΈΡ‚) Максимальная Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ, практичСски Π±Π΅Π· ΠΏΠΎΡ‚Π΅Ρ€ΡŒ качСства ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΎΡ€ΠΈΠ³ΠΈΠ½Π°Π»Π°. РСкомСндуСтся ΠΏΡ€ΠΈ Π½Π°Π»ΠΈΡ‡ΠΈΠΈ достаточного ΠΎΠ±ΡŠΡ‘ΠΌΠ° VRAM/RAM.
Gemma-4-e2b-it.Q6_K.gguf Q6_K (6-Π±ΠΈΡ‚) ΠžΠΏΡ‚ΠΈΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΉ баланс ΠΌΠ΅ΠΆΠ΄Ρƒ качСством Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΊΠΎΠ΄Π° 1Π‘, ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒΡŽ Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΈ Ρ€Π°Π·ΠΌΠ΅Ρ€ΠΎΠΌ Ρ„Π°ΠΉΠ»Π°.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ использования

МодСль ΠΏΠΎΠ½ΠΈΠΌΠ°Π΅Ρ‚ описания Π·Π°Π΄Π°Ρ‡ Π½Π° СстСствСнном русском языкС ΠΈ ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΡƒΠ΅Ρ‚ ΠΈΡ… Π² синтаксичСски ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½Ρ‹ΠΉ тСкст запроса 1Π‘ с использованиСм Π²ΠΈΡ€Ρ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹Ρ… Ρ‚Π°Π±Π»ΠΈΡ†, соСдинСний, Π³Ρ€ΡƒΠΏΠΏΠΈΡ€ΠΎΠ²ΠΎΠΊ, Π²Π»ΠΎΠΆΠ΅Π½Π½Ρ‹Ρ… запросов.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°

Запрос ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ:
Напиши запрос 1Π‘ для получСния остатков Ρ‚ΠΎΠ²Π°Ρ€ΠΎΠ² Π½Π° складах Π½Π° Ρ‚Π΅ΠΊΡƒΡ‰ΡƒΡŽ Π΄Π°Ρ‚Ρƒ ΠΈΠ· рСгистра накоплСния "ВоварыНаБкладах". Π’Ρ‹Π²Π΅Π΄ΠΈ Π½ΠΎΠΌΠ΅Π½ΠΊΠ»Π°Ρ‚ΡƒΡ€Ρƒ, склад ΠΈ остаток количСства, ΠΎΡ‚Ρ„ΠΈΠ»ΡŒΡ‚Ρ€ΡƒΠΉ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ остатки.

ΠžΠΆΠΈΠ΄Π°Π΅ΠΌΡ‹ΠΉ ΠΎΡ‚Π²Π΅Ρ‚ ΠΌΠΎΠ΄Π΅Π»ΠΈ

ВЫБРАВЬ
    ВоварыНаБкладах.НомСнклатура КАК НомСнклатура,
    ВоварыНаБкладах.Π‘ΠΊΠ»Π°Π΄ КАК Π‘ΠΊΠ»Π°Π΄,
    ВоварыНаБкладах.ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎΠžΡΡ‚Π°Ρ‚ΠΎΠΊ КАК ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎ
Π˜Π—
    РСгистрНакоплСния.ВоварыНаБкладах.ΠžΡΡ‚Π°Ρ‚ΠΊΠΈ(&Π”Π°Ρ‚Π°ΠžΡΡ‚Π°Ρ‚ΠΊΠΎΠ², ) КАК ВоварыНаБкладах
Π“Π”Π•
    ВоварыНаБкладах.ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎΠžΡΡ‚Π°Ρ‚ΠΎΠΊ > 0
Π£ΠŸΠžΠ Π―Π”ΠžΠ§Π˜Π’Π¬ ПО
    ВоварыНаБкладах.НомСнклатура

Запуск Π² llama.cpp

Для запуска Ρ‡Π΅Ρ€Π΅Π· llama-server ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠΉΡ‚Π΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρƒ (ΠΏΡ€ΠΈΠΌΠ΅Ρ€ для вСрсии Q8_0):

llama-server -m Gemma-4-e2b-it.Q8_0.gguf -c 8192 -ngl 99 -fa on
  • -c 8192 β€” Ρ€Π°Π·ΠΌΠ΅Ρ€ контСкстного ΠΎΠΊΠ½Π° (ΠΌΠΎΠΆΠ½ΠΎ ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΡ‚ΡŒ Π΄ΠΎ 32768 ΠΏΡ€ΠΈ Π½Π°Π»ΠΈΡ‡ΠΈΠΈ свободной памяти).
  • -ngl 99 β€” Π²Ρ‹Π³Ρ€ΡƒΠ·ΠΊΠ° всСх слоёв ΠΌΠΎΠ΄Π΅Π»ΠΈ Π½Π° Π²ΠΈΠ΄Π΅ΠΎΠΊΠ°Ρ€Ρ‚Ρƒ (GPU).
  • -fa on (ΠΈΠ»ΠΈ flash-attn = true Π² ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠΌ Ρ„Π°ΠΉΠ»Π΅) β€” активация Flash Attention для ускорСния Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ расхода памяти.

Π Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΠ΅ΠΌΡ‹Π΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ

Для ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½ΠΎΠΉ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΊΠΎΠ΄Π° ΠΈ запросов 1Π‘ Π±Π΅Π· Β«Ρ„Π°Π½Ρ‚Π°Π·ΠΈΠΉΒ» Π² ΠΈΠΌΠ΅Π½Π°Ρ… Ρ€Π΅ΠΊΠ²ΠΈΠ·ΠΈΡ‚ΠΎΠ² рСкомСндуСтся ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π½ΠΈΠ·ΠΊΡƒΡŽ Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Ρƒ:

  • Temperature: 0.1 – 0.2
  • Top-P: 0.9
  • Repeat Penalty: 1.05

ΠžΡΠΎΠ±Π΅Π½Π½ΠΎΡΡ‚ΠΈ Ρ€Π°Π±ΠΎΡ‚Ρ‹

  • МодСль ΠΎΠ±ΡƒΡ‡Π°Π»Π°ΡΡŒ Π½Π° Ρ‚ΠΈΠΏΠΎΠ²Ρ‹Ρ… структурах ΠΌΠ΅Ρ‚Π°Π΄Π°Π½Π½Ρ‹Ρ… 1Π‘. ΠŸΡ€ΠΈ Ρ€Π°Π±ΠΎΡ‚Π΅ с Π½Π΅Ρ‚ΠΈΠΏΠΎΠ²Ρ‹ΠΌΠΈ (самописными) конфигурациями рСкомСндуСтся ΠΏΠ΅Ρ€Π΅Π΄Π°Π²Π°Ρ‚ΡŒ структуру Π½ΡƒΠΆΠ½Ρ‹Ρ… справочников, Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΎΠ² ΠΈΠ»ΠΈ рСгистров прямо Π² контСкстС ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°.
  • Π Π΅ΠΆΠΈΠΌ рассуТдСний (Thinking Mode): МодСль сохраняСт встроСнный Ρ€Π΅ΠΆΠΈΠΌ ΠΏΠΎΡˆΠ°Π³ΠΎΠ²Ρ‹Ρ… рассуТдСний Gemma 4 β€” ΠΏΠ΅Ρ€Π΅Π΄ Π²Ρ‹Π΄Π°Ρ‡Π΅ΠΉ ΠΊΠΎΠ΄Π° ΠΎΠ½Π° Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ структуру рСгистров, провСряСт Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ Π²Ρ‹Π·ΠΎΠ²Π° инструмСнтов (tool calling) ΠΈ Π²Π°Π»ΠΈΠ΄ΠΈΡ€ΡƒΠ΅Ρ‚ Π»ΠΎΠ³ΠΈΠΊΡƒ запроса.
  • ΠžΡ‚ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ рассуТдСний: Если для простых запросов Π½ΡƒΠΆΠ½Π° максимальная ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ ΠΎΡ‚Π²Π΅Ρ‚Π° Π±Π΅Π· ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… Ρ€Π°Π·Π΄ΡƒΠΌΠΈΠΉ, запускайтС llama-server с Ρ„Π»Π°Π³ΠΎΠΌ --reasoning-budget 0.

Благодарности ΠΈ лицСнзия

  • Базовая модСль: google/gemma-4-E2B-it ΠΎΡ‚ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Google.
  • Π˜Π½ΡΡ‚Ρ€ΡƒΠΌΠ΅Π½Ρ‚ обучСния: Unsloth.
  • ЛицСнзия: МодСль распространяСтся ΠΏΠΎΠ΄ Π»ΠΈΡ†Π΅Π½Π·ΠΈΠ΅ΠΉ Apache 2.0 Π² соотвСтствии с условиями использования Π±Π°Π·ΠΎΠ²ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ Gemma 4.
Downloads last month
214
GGUF
Model size
5B params
Architecture
gemma4
Hardware compatibility
Log In to add your hardware

6-bit

8-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. πŸ™‹ Ask for provider support

Model tree for feiiint/gemma-4-e2b-1c-GGUF

Quantized
(470)
this model