Le materie prime dell'AI
Quanto costano davvero un'unità di calcolo, un'unità di memoria e un'unità di energia — divise fra CAPEX e OPEX, tracciate da fonti pubbliche.
Non esiste un prezzo dell'"AI". Esiste un prezzo del TFLOP, del gigabyte di memoria, dell'ora-GPU e del megawattora — e queste quattro cose si muovono per ragioni diverse. Questa dashboard le segue separatamente, da fonti che chiunque può verificare.
Ora-GPU, H100
—
In attesa della prima esecuzione con la chiave ComputePrices configurata.
Calcolo, BF16
—
In attesa della prima esecuzione con la chiave ComputePrices configurata.
Gas Henry Hub
—
In attesa della prima esecuzione con la chiave EIA configurata.
Elettricità industriale USA
—
In attesa della prima esecuzione con la chiave EIA configurata.
Mercato — quanto costa oggi
Prezzi giornalieri. L'ora-GPU e il gas sono i due input dell'AI con un prezzo di mercato reale, osservabile e in movimento.
Prezzo di noleggio GPU
Quotazione mediana on-demand sui marketplace cloud, dollari per ora-GPU
Costo del calcolo
Dollari per PFLOP-ora — il prezzo di noleggio diviso per il throughput BF16 denso dell'acceleratore, che è ciò che rende confrontabili una scheda consumer e un modulo da datacenter
Gas naturale, spot Henry Hub
Dollari per milione di BTU, giornaliero — il combustibile marginale che fissa il prezzo marginale dell'energia nella maggior parte dei mercati USA
Storico — la curva lunga
Il declino secolare del costo capitale del calcolo, e vent'anni di prezzi dell'energia che lo alimenta.
Costo capitale del calcolo al lancio
Dollari per TFLOP/s di throughput BF16 denso, al prezzo di lancio di ogni acceleratore
Costo capitale del calcolo al lancio, FP32
Dollari per TFLOP/s in singola precisione FP32, al prezzo di lancio di ogni acceleratore — la misura più vecchia e non-tensor, l'unica che l'hardware pre-2017 dichiara e quindi l'unica che arriva così indietro
Da non confrontare con il grafico BF16 qui sopra: misurano percorsi di silicio diversi, e un rapporto fra i due non significa nulla. · Epoch AI — Machine Learning Hardware (CC BY)
Costo capitale della memoria al lancio
Dollari per GB di memoria integrata, al prezzo di lancio di ogni acceleratore
Efficienza energetica al lancio
TFLOP/s BF16 densi per watt di TDP — la cerniera fra il CAPEX che compri e l'OPEX che poi paghi
Prezzo dell'elettricità retail USA
Centesimi di dollaro per kWh, media mensile per settore d'uso e per stato
Gas naturale, mensile dal 1997
Dollari per milione di BTU, media mensile del prezzo spot Henry Hub
Prezzi alla produzione dei semiconduttori
Indice dei prezzi alla produzione USA per la fabbricazione di semiconduttori — la migliore proxy gratuita di quanto fa pagare la filiera
Come si legge
- Throughput denso, mai la sparsity
- Ogni valore in TFLOP è BF16/FP16 denso. I produttori spesso dichiarano un numero raddoppiato che presuppone sparsity strutturata 2:4; mescolare le due convenzioni dimezzerebbe silenziosamente il costo per TFLOP dei chip più recenti.
- Un prezzo di lancio non è un prezzo di mercato
- Gli acceleratori da datacenter non hanno un listino pubblico: si vendono a contratto. Quei valori sono le migliori stime pubbliche e descrivono il momento del lancio, non quanto costa oggi lo stesso silicio.
- Il noleggio è l'unico prezzo osservabile
- Un'ora-GPU viene scambiata di continuo e quotata pubblicamente: è l'unico vero prezzo di mercato del calcolo AI. Include capitale, energia, raffreddamento e margine — un pregio per una dashboard di costi, un caveat per un confronto fra hardware.
- Lo storico si accumula da qui
- Le fonti a snapshot pubblicano oggi e nient'altro, e nessuno le ricostruisce all'indietro gratis. Ogni esecuzione schedulata committa un'osservazione datata: l'archivio si costruisce in avanti invece di comprarlo.
- I prezzi dell'energia sono medie, non la tua bolletta
- Le medie retail per settore sono pubbliche; i contratti di fornitura che alimentano davvero i grandi data center sono privati. Virginia e Texas sono evidenziati perché ospitano i maggiori carichi da data center degli USA.
Fonti
| Fonte | Usata per | Licenza |
|---|---|---|
| Epoch AI — Data on Machine Learning Hardware | Prezzi di lancio, throughput, memoria e TDP degli acceleratori | CC BY 4.0 |
| ComputePrices.com | Quotazioni di noleggio GPU cloud | Public API |
| U.S. Energy Information Administration | Prezzo del gas Henry Hub, prezzi elettricità retail | Public domain |
| FRED — Federal Reserve Bank of St. Louis | Indici dei prezzi alla produzione, serie energetiche ridondanti | Attribution requested |