AI in locale per le PMI venete: LLM Opensource GPT‑OSS:20B con Intel Core 9 285K e Nvidia RTX 5090
L’esperimento AI locale è una prova di fattibilità per eseguire modelli di linguaggio di medie dimensioni (LLM) senza connettersi a servizi cloud. In pratica, tutti i dati e i calcoli rimangono nella propria rete locale aziendale, garantendo privacy e controllo totale.
- Hardware: Intel Core Ultra 9 285 K, 128 GB DDR5, Nvidia RTX 5090 (32 GB VRAM)
- Software open‑source: Ollama v0.11.10, Open‑WebUI v0.6.28, GPT‑OSS:20B
- Container Docker: per estendere le funzionalità locali (search engine, traduttore, trascrittore, generazione di immagini/clip-video…)
1. I componenti chiave dell’architettura
| Componente | Scopo | Tecnologia |
|---|---|---|
| Modello LLM | Generazione di testo, risposte alle domande | GPT‑OSS:20B (open‑weights, 20 miliardi di parametri) |
| Ollama | Wrapper per l’esecuzione del modello | v0.11.10 |
| Open‑WebUI | UI web-friendly per interagire con il modello | v0.6.28 |
| Docker | Containerizzazione dei servizi (SearNgx, traduttore, trascrizione, generazione immagini/clip-video) | Docker Compose |
| SearNgx | Motore di ricerca interno | Search engine open‑source |
| Traduttore AI offline | Traduzione italiano‑inglese/tedesco/spagnolo/francese e viceversa | Modello open‑source (es. MarianMT) |
| Trascrizione audio/video | Trascrizione di file audio in testo | Whisper (versione locale) |
| Generazione immagini | Creare immagini da prompt testuali | ComFyUI (locale) |
| Generazione video | Creare clip da testo/immagine | ConFyUI + Wan 2.2 |
2. Workstation fornita da: Sistemi Hardware Comitec
Sistemi Hardware Comitec
Via Como 78 – 30027 San Dona’ di Piave (VE) Italia
Tel: 0421 481 811 | Email: info@comitec.it | www.comitec.it
Comitec, presente sul territorio dal 1987, ha fornito la workstation per eseguire i test, l’assistenza hardware e il supporto commerciale per la ricerca di componenti adatte per implementare l’AI nelle PMI venete.
L’importanza dell’AI locale e privata: un imperativo di sicurezza e sovranità
Le piccole e medie imprese (PMI) venete stanno entrando in una nuova era digitale in cui l’intelligenza artificiale non è più un optional, ma un vero e proprio asset competitivo. Ma perché scegliere di affiancare all’AI su cloud un’AI locale?
3. Perché l’AI deve essere locale nelle PMI venete?
Sicurezza dei dati
Addestrare un proprio LLM (Large Language Model), ovvero un modello linguistico di grandi dimensioni, richiede un volume enorme di dati proprietari per l’addestramento. Se questi dati vengono trasferiti su cloud o su infrastrutture esterne, si aprono immediatamente questioni critiche di privacy e di protezione del know‑how strategico delle aziende.
Anche nel caso in cui si scelga di utilizzare un LLM già pronto, sia esso open‑source o proprietario, tramite una connessione API o un’interfaccia chat, i dati di input che vengono inviati al provider possono comunque esporre informazioni sensibili e riservate.
Controllo e compliance normativa
Questa esposizione non è soltanto tecnica, ma comporta una serie di problemi contrattuali e normativi che le imprese devono affrontare con estrema attenzione:
– Regolamento UE sulla protezione dei dati personali (GDPR) – ogni trasferimento di dati personali al di fuori dell’Unione Europea deve rispettare rigorose condizioni di sicurezza e privacy.
– Standard Contractual Clauses (SCCs) – contratti tipo approvati dall’UE per garantire che i dati trasferiti siano adeguatamente protetti quando escono dal territorio europeo.
– Data Privacy Framework (DPF) – l’accordo del 2023 tra UE e USA che disciplina il flusso di dati transfrontalieri in modo conforme alle norme europee.
– Leggi di sicurezza nazionale – come la FISA 702 e l’Executive Order 12333 negli Stati Uniti, che permettono la raccolta e l’analisi di dati per motivi di sicurezza nazionale. Le stesse problematiche si verificano in Russia, Cina e altri paesi con politiche di sorveglianza aggressiva.
Quando i dati sensibili vengono inviati a server esterni, specialmente al di fuori dello Stato italiano e della Comunità Europea, l’azienda si espone a rischi intrinseci: uso non autorizzato, intercettazioni, o addirittura la compromissione di informazioni strategiche che possono determinare la competitività e la sopravvivenza del business.
Una soluzione di intelligenza artificiale locale, operante sul proprio hardware, riduce drasticamente queste vulnerabilità. In un’implementazione in‑house, le informazioni non lasciano mai la rete interna; l’accesso è limitato ai soli dispositivi autorizzati e ai ruoli di sicurezza predefiniti.
Questo garantisce:
Privacy completa: i dati rimangono sotto controllo diretto dell’azienda, eliminando la dipendenza da terzi.
Conformità normativa: non è necessario affrontare complessi accordi di trasferimento dati, poiché non avviene alcun scambio di dati al di fuori dell’Unione Europea.
Controllo della sicurezza: la gestione dei permessi, l’audit trail e le politiche di cifratura possono essere configurati in modo personalizzato e aggiornato in tempo reale.
Riduzione dei costi a lungo termine: si evitano le spese legate ai contratti di API, ai pagamenti per l’uso di servizi cloud e alle eventuali sanzioni per violazioni di GDPR.
In definitiva, l’AI che gira sul nostro hardware non solo tutela la riservatezza delle informazioni, ma conferisce all’azienda un vantaggio competitivo: l’uso di modelli linguistici avanzati diventa un asset interno, sicuro, efficiente e pienamente in linea con le politiche di protezione dei dati.
Non si tratta di un “aut aut” ma piuttosto della possibilità di scegliere tra servizi in cloud o in locale. L’uso di una strategia ibrida in cui: alcuni processi rimangono in locale mentre altri si usufruiscono in cloud, è la soluzione più equilibrata, purché si possano definire e rispettare chiare politiche di “prompting” e criteri di scelta dei due strumenti.

4. Il ruolo dell’open‑source nel rendere l’AI privata
L’open‑source è la linfa vitale per costruire un ecosistema di IA localizzabile. Alcuni punti chiave:
- Trasparenza: il codice sorgente è disponibile a tutti, permettendo audit indipendenti e verifiche di sicurezza che altrimenti sarebbero impossibili con software proprietario.
- Personalizzazione: le organizzazioni possono adattare modelli e algoritmi alle proprie esigenze senza dover dipendere da licenze costose o da contratti di supporto a lungo termine.
- Collaborazione globale: comunità come Hugging Face, EleutherAI o Open‑AI (per le versioni “community”) permettono a sviluppatori, ricercatori e aziende di condividere conoscenza, dataset e best practice in modo libero.
- Riduzione dei costi: l’adozione di modelli open‑source come GPT‑OSS, ComFyUI, Stable Diffusion o Whisper elimina la necessità di pagare per l’accesso a grandi modelli proprietari, rendendo più accessibili le tecnologie di intelligenza artificiale anche alle piccole e medie imprese e alle startup.
Per sfruttare appieno questi benefici, è necessario creare infrastrutture robuste – come server con GPU di fascia alta, reti a bassa latenza e sistemi di backup – e investire in formazione per i dipendenti. Il risultato è un’IA che può essere addestrata, testata e deployata in autonomia, garantendo sicurezza e autonomia.

Un semplice ma esplicativo esempio: la traduzione nelle diverse lingue di testi che potrebbero contenere dati sensibili o informazioni strategiche per l’azienda. Non tutte le aziende hanno a disposizione personale interno con le competenze necessarie, ecco che un sistema di traduzione interno ci permette di evitare di esporre i nostri testi su piattaforme come Google Translator, Deepl o Microsoft Translator.
