Dovrei fare self-hosting di Whisper o usare un'API?

Whisper è open source – puoi eseguirlo gratuitamente sul tuo hardware. Sembra allettante, ma ci sono sfumature. Un calcolo onesto.

Cosa serve per ospitare Whisper - GPU: almeno 10 GB di VRAM per Whisper-Large. Una RTX 4090 (~2.000 $) o una A100 nel cloud (~2 $/h in spot). - Docker, NVIDIA Container Toolkit, eventualmente Kubernetes. - Coda di job (Redis + BullMQ, Sidekiq, Celery). - Archiviazione di file per l'audio (compatibile S3, o locale con backup). - Monitoraggio (Prometheus, Grafana, Sentry). - Logica di scaling per i picchi di traffico. - Eventuali add-on: WhisperX per la diarizzazione, il tuo wrapper API attorno a Whisper.

Cosa Whisper non fa di base - Diarizzazione dei parlanti (serve WhisperX o pyannote.audio). - Streaming in tempo reale (serve Faster-Whisper + codice su misura). - Marche temporali per parola imprecise in alcune varianti. - Webhook, limiti di frequenza, multi-tenant – li costruisci tu. - Conformità GDPR – sei tu il titolare del trattamento, nessun fornitore condivide la responsabilità.

Costo a 500 h/mese - DeepScript Standard: 500 h × 0,18 € = 90 €/mese. - Self-hosted su server GPU Hetzner (GEX44 con RTX 6000 ADA, ~700 €/mese): 700 € + sovrapprezzo energia, più il tempo DevOps. - Self-hosted su AWS (g5.xlarge, ~1,00 $/h in spot, 24/7): ~720 $/mese più archiviazione ed egress di rete.

Quando il self-hosting ha senso - Trascrivi > 2.000 h/mese e il carico resta stabile per mesi. - Hai già un'infrastruttura GPU in casa (ricerca ML, flotta di server di gioco avanzata). - Ti serve una sovranità dei dati estrema (ad es. ambienti air-gapped per la pubblica amministrazione). - Fai fine-tuning di Whisper sul tuo dominio – le API lo consentono di rado.

Quando vince un'API - < 500 h/mese: l'API è più economica, più semplice, più rapida da rilasciare. - Ti serve la diarizzazione, la Custom Vocabulary, i webhook senza costruirli. - Ti serve uno SLA e supporto 24/7. - Ti serve una conformità GDPR scritta (DPA, elenco dei sub-responsabili). - Vuoi concentrarti sul tuo prodotto, non sui driver GPU.

Variante ibrida Alcuni team usano DeepScript per i dati dei clienti rilevanti ai fini del GDPR e Whisper self-hosted per carichi interni a basso rischio. Ottimizzazione dei costi pulita – se la capacità DevOps c'è.

Regola pratica Se non hai già un team con esperienza GPU: API. Se ce l'hai e il volume corrisponde: self-hosting. Ma fai i conti onestamente – la maggior parte sottovaluta i costi operativi correnti e sopravvaluta i risparmi.