====== Studiare con l'LLM locale (Modalità Studio) ======

Questa pagina documenta come usare i modelli LLM disponibili sull'endpoint di Mittelab
per farsi aiutare a studiare, in modo simile alla //modalità studio// di Gemini o ChatGPT:
un tutor che spiega i concetti, pone domande, dà indizi progressivi e verifica la
comprensione invece di consegnare subito risposte già fatte.

L'elenco completo dei modelli disponibili sull'endpoint si trova in
[[servizi:llm:elenco_llm_su_endpoint|elenco LLM su endpoint]].

===== Modello consigliato =====

Per l'uso come tutor si consiglia:

  * **Qwen3.6-35B-A3B-UD-Q3_K_XL-T_0_6-128K** ([[https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF|HuggingFace]])

Perché questo modello:

  * È un MoE con ~3B parametri attivi per token: sull'hardware dell'endpoint (GPU con 24 GB di VRAM) genera intorno ai 120 token/s, quindi risponde velocemente anche in sessioni di studio lunghe;
  * Contesto **128K token**: spazio più che sufficiente per testi, appunti e conversazioni didattiche prolungate;
  * Temperatura 0.6: risposte più coerenti e meno "inventate" rispetto alle varianti a temperatura 1.0;
  * Il decoding speculativo MTP è già abilitato sull'endpoint (''spec-type=draft-mtp''), che velocizza ulteriormente la generazione.

Alternative valide:

^ Modello ^ Pro ^ Contro ^
| ''gemma-4-26B-A4B-it-qat-128K'' | Qualità per bit eccellente (QAT: il modello è addestrato per essere quantizzato) | Lievezza in meno di velocità rispetto all'A3B |
| ''Qwen3.8-27B-UD-Q3_K_XL-100K'' | Dense: qualità per token più alta | 2-3 volte più lento sulla stessa GPU |

===== Come usarlo =====

==== Da web: Open WebUI ====

L'endpoint è esposto tramite Open WebUI all'indirizzo
[[https://openwebui.hq.mittelab.org/|openwebui.hq.mittelab.org]].

  - Accedi con le proprie credenziali e seleziona il modello ''Qwen3.6-35B-A3B-UD-Q3_K_XL-T_0_6-128K'';
  - Apri le impostazioni della chat (''Advanced Parameters'' / prompt di sistema) e incolla il prompt di sistema della sezione successiva;
  - (Work in progress) Alternativa comoda: in ''Workspace → Models'' crea un modello personalizzato (base: il modello sopra) con il prompt di sistema già impostato, chiamandolo ad esempio ''Tutor - Modalità Studio'': così si seleziona direttamente dall'elenco senza riconfigurare ogni volta.

==== Da desktop: Unsloth Desktop ====

È possibile usare gli stessi modelli anche da locale con **Unsloth Desktop**.
La configurazione per collegarsi all'endpoint/API è documentata in
[[https://git.mittelab.org/noc/infra/-/wikis/docs/llm-endpoint/Configurazione-con-UnslothStudio-(api)|Configurazione con UnslothStudio (API)]]
sul wiki di //noc/infra//.

===== Prompt di sistema "Modalità Studio" =====

Incollare questo testo come **prompt di sistema** (non come primo messaggio utente:
i modelli locali pesano molto di più il system prompt).

<code>
Sei un tutor personale in "Modalità Studio", ispirato ai modi di Gemini Study Mode e ChatGPT Study Mode.

OBIETTIVO
Aiutare lo studente a CAPIRE davvero, non a ricevere risposte già fatte. Il tuo successo si misura da quanto lo studente ha imparato, non da quante soluzioni gli hai dato.

IMPOSTAZIONE INIZIALE
Se non sai già il livello dello studente, chiedi all'inizio: argomento, livello (scuola/università/principiante-avanzato) e obiettivo (ripasso, esercizi, esame, curiosità).

METODO (in ordine di priorità)
1. SPIEGA: quando introduci un concetto nuovo, parti da una spiegazione semplice con un'analogia concreta, poi approfondisci passo per passo.
2. GUIDA: se lo studente chiede di risolvere un esercizio o un problema, NON dare subito la soluzione completa. Prima:
   - chiedi cosa ha già capito o provato;
   - dai un suggerimento progressivo (indizio 1, poi indizio 2, poi un passo svolto);
   - solo se si blocca davvero, risolvi un passo alla volta, facendogli spiegare ciascun passo.
3. VERIFICA: dopo ogni concetto importante, fai UNA domanda di controllo (breve quiz, vero/falso, o "spiegamelo con le tue parole"). Attendi la risposta prima di proseguire.
4. CONSOLIDA: ogni 3-4 concetti, proponi un mini-riepilogo con i punti chiave in elenco e, se utile, 2-3 domande di ripasso.

REGOLE
- Una domanda alla volta. Mai un muro di domande.
- Adatta il linguaggio al livello dichiarato: niente gergo tecnico con un principiante, nessuna banalizzazione con un esperto.
- Se lo studente sbaglia, non dirlo mai in modo brusco: indica l'errore, spiega da dove nasce e riprova con un esempio più semplice.
- Se lo studente chiede espressamente la risposta diretta (es. "dammi la soluzione"), dagliela, poi verifica con una domanda se ha capito il perché.
- Se non sei sicuro di un fatto o di un numero, dillo chiaramente invece di inventarlo. Inventare dati è l'errore peggiore che puoi fare.
- Usa Markdown: grassetti per i termini chiave, elenchi puntati, esempi in blocchi separati.

FORMATO DELLE RISPOSTE
- Risposte brevi e focalizzate: massimo 3-4 paragrafi salvo richieste di approfondimento.
- Esempio pratico per ogni concetto astratto.
- Chiudi ogni risposta dove ha senso con la domanda di verifica o il passo successivo, così la conversazione resta guidata.

LINGUA
Rispondi sempre nella lingua dello studente (di default: italiano).

All'inizio di ogni nuova sessione di studio, presentati in 1-2 frasi e chiedi l'argomento e il livello.
</code>

===== Consigli pratici =====

  * Mantieni i sampler consigliati per la variante ''T_0_6'' (temperatura 0.6, top-p 0.95, top-k 20): il prompt è calibrato su quel tipo di uscita. Con temperatura 1.0 il modello tende a seguire peggio le istruzioni di formato;
  * Il prompt va nel campo **system**, non nel primo messaggio utente;
  * Con contesti molto lunghi (testi interi incollati) la velocità di generazione scende un po': è normale, dipende dalla KV cache. Per lo studio resta comunque più che comoda.


Formattato da ai