Skip to content

Commit 05b60f1

Browse files
author
Paweł Kędzia
committed
Merge branch 'features/quickstart'
2 parents cfedc89 + f69999d commit 05b60f1

File tree

7 files changed

+28
-29
lines changed

7 files changed

+28
-29
lines changed

‎README.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -103,7 +103,7 @@ metrics for monitoring and alerting.
103103
The quick‑start guides for running the full stack with **local models** are included in the repository:
104104

105105
- **Gemma 3 12B‑IT** – [README](examples/quickstart/google-gemma3-12b-it/README.md)
106-
- **Bielik 11B‑v2.3‑Instruct‑FP8** – [README](examples/quickstart/speakleash-bielik-11b-v2_3-Instruct/README.md)
106+
- **Bielik 11B‑v2.3‑Instruct** – [README](examples/quickstart/speakleash-bielik-11b-v2_3-Instruct/README.md)
107107

108108
### 2️⃣ Minimum required environment variable
109109

‎examples/README.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -67,7 +67,7 @@ Each example includes:
6767
The quick‑start guides for running the full stack with **local models** are included in the repository:
6868

6969
- **Gemma 3 12B‑IT** – [README](quickstart/google-gemma3-12b-it/README.md)
70-
- **Bielik 11B‑v2.3‑Instruct‑FP8** – [README](quickstart/speakleash-bielik-11b-v2_3-Instruct/README.md)
70+
- **Bielik 11B‑v2.3‑Instruct** – [README](quickstart/speakleash-bielik-11b-v2_3-Instruct/README.md)
7171

7272
These guides walk you through:
7373

‎examples/quickstart/README.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -3,4 +3,4 @@
33
The quick‑start guides for running the full stack with **local models** are included in the repository:
44

55
- **Gemma 3 12B‑IT** – [README](google-gemma3-12b-it/README.md)
6-
- **Bielik 11B‑v2.3‑Instruct‑FP8** – [README](speakleash-bielik-11b-v2_3-Instruct/README.md)
6+
- **Bielik 11B‑v2.3‑Instruct** – [README](speakleash-bielik-11b-v2_3-Instruct/README.md)

‎examples/quickstart/speakleash-bielik-11b-v2_3-Instruct/README.md‎

Lines changed: 6 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,8 +1,8 @@
1-
# 🚀 **Przewodnik Szybkiego Startu** dla `speakleash/Bielik-11B-v2.3-Instruct-FP8` z **vLLM** & **LLM‑Router**
1+
# 🚀 **Przewodnik Szybkiego Startu** dla `speakleash/Bielik-11B-v2.3-Instruct` z **vLLM** & **LLM‑Router**
22

33
Ten przewodnik prowadzi Cię krok po kroku przez:
44

5-
1. **Instalację vLLM** i modelu `speakleash/Bielik-11B-v2.3-Instruct-FP8`.
5+
1. **Instalację vLLM** i modelu `speakleash/Bielik-11B-v2.3-Instruct`.
66
2. **Instalację LLM‑Router** (bramki API).
77
3. **Uruchomienie routera** z konfiguracją modeli dostarczoną w `models-config.json`.
88

@@ -65,7 +65,7 @@ Możesz szybko go przetestować:
6565
curl http://localhost:7000/v1/chat/completions \
6666
-H "Content-Type: application/json" \
6767
-d '{
68-
"model": "speakleash/Bielik-11B-v2.3-Instruct-FP8",
68+
"model": "speakleash/Bielik-11B-v2.3-Instruct",
6969
"messages": [{"role": "user", "content": "Cześć, jak się masz?"}],
7070
"max_tokens": 100
7171
}' | jq
@@ -101,7 +101,7 @@ Plik `models-config.json` znajdujący się w katalogu **speakleash‑bielik** ju
101101
```json
102102
{
103103
"speakleash_models": {
104-
"speakleash/Bielik-11B-v2.3-Instruct-FP8": {
104+
"speakleash/Bielik-11B-v2.3-Instruct": {
105105
"providers": [
106106
{
107107
"id": "bielik-11B_v2_3-vllm-local:7000",
@@ -115,7 +115,7 @@ Plik `models-config.json` znajdujący się w katalogu **speakleash‑bielik** ju
115115
},
116116
"active_models": {
117117
"speakleash_models": [
118-
"speakleash/Bielik-11B-v2.3-Instruct-FP8"
118+
"speakleash/Bielik-11B-v2.3-Instruct"
119119
]
120120
}
121121
}
@@ -163,7 +163,7 @@ Pełna lista dostępnych zmiennych środowiskowych znajduje się w
163163
curl http://localhost:8080/api/v1/chat/completions \
164164
-H "Content-Type: application/json" \
165165
-d '{
166-
"model": "speakleash/Bielik-11B-v2.3-Instruct-FP8",
166+
"model": "speakleash/Bielik-11B-v2.3-Instruct",
167167
"messages": [{"role": "user", "content": "Opowiedz krótki żart."}],
168168
"max_tokens": 80
169169
}' | jq

‎examples/quickstart/speakleash-bielik-11b-v2_3-Instruct/VLLM.md‎

Lines changed: 16 additions & 17 deletions
Original file line numberDiff line numberDiff line change
@@ -1,4 +1,4 @@
1-
# vLLM + `speakleash/Bielik-11B-v2.3-Instruct-FP8` – Przewodnik Szybkiego Startu (Ubuntu)
1+
# vLLM + `speakleash/Bielik-11B-v2.3-Instruct` – Przewodnik Szybkiego Startu (Ubuntu)
22

33
> **Wymagania wstępne**
44
> - Ubuntu 20.04 lub nowszy
@@ -51,12 +51,12 @@ pip install huggingface_hub
5151

5252
---
5353

54-
## 6️⃣ Pobierz model `speakleash/Bielik-11B-v2.3-Instruct-FP8`
54+
## 6️⃣ Pobierz model `speakleash/Bielik-11B-v2.3-Instruct`
5555

5656
```
57-
mkdir -p ./speakleash/Bielik-11B-v2.3-Instruct-FP8
58-
hf download speakleash/Bielik-11B-v2.3-Instruct-FP8 \
59-
--local-dir ./speakleash/Bielik-11B-v2.3-Instruct-FP8
57+
mkdir -p ./speakleash/Bielik-11B-v2.3-Instruct
58+
hf download speakleash/Bielik-11B-v2.3-Instruct \
59+
--local-dir ./speakleash/Bielik-11B-v2.3-Instruct
6060
```
6161

6262
> Model zostanie pobrany do wskazanego katalogu. Pliki będą także buforowane domyślnie w `~/.cache/huggingface/hub`.
@@ -91,12 +91,11 @@ bash run-bielik-11b-v2_3-vllm.sh
9191

9292
> > **INFO**: `curl` i `jq` to narzędzia systemowe.
9393
94-
9594
```
9695
curl http://localhost:7000/v1/chat/completions \
9796
-H "Content-Type: application/json" \
9897
-d '{
99-
"model": "speakleash/Bielik-11B-v2.3-Instruct-FP8",
98+
"model": "speakleash/Bielik-11B-v2.3-Instruct",
10099
"messages": [{"role": "user", "content": "Cześć, jak się masz?"}],
101100
"max_tokens": 100
102101
}' | jq
@@ -109,7 +108,7 @@ Powinieneś otrzymać odpowiedź w formacie JSON, np.:
109108
"id": "chatcmpl-xxxx",
110109
"object": "chat.completion",
111110
"created": 1764516430,
112-
"model": "speakleash/Bielik-11B-v2.3-Instruct-FP8",
111+
"model": "speakleash/Bielik-11B-v2.3-Instruct",
113112
"choices": [
114113
{
115114
"index": 0,
@@ -132,18 +131,18 @@ Powinieneś otrzymać odpowiedź w formacie JSON, np.:
132131

133132
## 9️⃣ Przydatne wskazówki
134133

135-
| Temat | Rekomendacja |
136-
|-----------------------------|-------------------------------------------------------------------------------------------------------------------------------------------|
137-
| **Pamięć** | `speakleash/Bielik-11B-v2.3-Instruct-FP8` potrzebuje ok. 12GB VRAM. Użyj `--cpu-offload` (jeśli wspierane) przy ograniczonej pamięci GPU. |
138-
| **Lokalizacja cache** | Ustaw `HF_HOME=$PWD/.cache/huggingface`, aby wszystkie pliki modelu znajdowały się w katalogu projektu. |
139-
| **Równoległość tokenizera** | `export TOKENIZERS_PARALLELISM=false` wyciszy ostrzeżenia tokenizera. |
140-
| **Wybór GPU** | `export CUDA_VISIBLE_DEVICES=0` (lub inny indeks) przy wielu kartach GPU. |
141-
| **Aktualizacja** | `pip install -U vllm` odświeża bibliotekę; przy następnym uruchomieniu serwera zostaną pobrane nowsze pliki modelu, jeśli są dostępne. |
142-
| **Dezaktywacja** | Po zakończeniu pracy wystarczy wpisać `deactivate`, aby opuścić wirtualne środowisko. |
134+
| Temat | Rekomendacja |
135+
|-----------------------------|----------------------------------------------------------------------------------------------------------------------------------------|
136+
| **Pamięć** | `speakleash/Bielik-11B-v2.3-Instruct` potrzebuje ok. 24GB VRAM. Użyj `--cpu-offload` (jeśli wspierane) przy ograniczonej pamięci GPU. |
137+
| **Lokalizacja cache** | Ustaw `HF_HOME=$PWD/.cache/huggingface`, aby wszystkie pliki modelu znajdowały się w katalogu projektu. |
138+
| **Równoległość tokenizera** | `export TOKENIZERS_PARALLELISM=false` wyciszy ostrzeżenia tokenizera. |
139+
| **Wybór GPU** | `export CUDA_VISIBLE_DEVICES=0` (lub inny indeks) przy wielu kartach GPU. |
140+
| **Aktualizacja** | `pip install -U vllm` odświeża bibliotekę; przy następnym uruchomieniu serwera zostaną pobrane nowsze pliki modelu, jeśli są dostępne. |
141+
| **Dezaktywacja** | Po zakończeniu pracy wystarczy wpisać `deactivate`, aby opuścić wirtualne środowisko. |
143142

144143
---
145144

146145
## 🎉 Gotowe!
147146

148147
Masz już w pełni działające API kompatybilne z OpenAI, oparte na **vLLM** i modelu
149-
**speakleash/Bielik-11B-v2.3-Instruct-FP8**.
148+
**speakleash/Bielik-11B-v2.3-Instruct**.

‎examples/quickstart/speakleash-bielik-11b-v2_3-Instruct/models-config.json‎

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,6 @@
11
{
22
"speakleash_models": {
3-
"speakleash/Bielik-11B-v2.3-Instruct-FP8": {
3+
"speakleash/Bielik-11B-v2.3-Instruct": {
44
"providers": [
55
{
66
"id": "bielik-11B_v2_3-vllm-local:7000",
@@ -16,7 +16,7 @@
1616
},
1717
"active_models": {
1818
"speakleash_models": [
19-
"speakleash/Bielik-11B-v2.3-Instruct-FP8"
19+
"speakleash/Bielik-11B-v2.3-Instruct"
2020
]
2121
}
2222
}

‎examples/quickstart/speakleash-bielik-11b-v2_3-Instruct/run-bielik-11b-v2_3-vllm.sh‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -2,7 +2,7 @@
22

33
export CUDA_VISIBLE_DEVICES=0
44

5-
MODEL_PATH=speakleash/Bielik-11B-v2.3-Instruct-FP8
5+
MODEL_PATH=speakleash/Bielik-11B-v2.3-Instruct
66

77
vllm serve \
88
"${MODEL_PATH}" \

0 commit comments

Comments
 (0)