6. Kosten GPU voor trainingsziekenhuis AIOC

6.1 Achtergrondinformatie

Binnen het project AI ondersteund coderen is het de wens om zo veel mogelijk ziekenhuizen als trainingsziekenhuis aan te sluiten, zodat we het AI-modellen voor dagopnamen en klinische opnamen kunnen blijven verbeteren. Wanneer een ziekenhuis een trainingsziekenhuis wordt, in plaats van een inferentieziekenhuis zullen er een tweetal wijzigingen doorgevoerd moeten worden:

  1. GPU toevoegen aan de server

  2. Klaarzetten van 5 jaar aan historische data

De IT-afdelingen van ziekenhuizen geven aan dat de kosten voor het toevoegen van een GPU erg hoog zijn (genoemd werd €10.000). DHD heeft geprobeerd hier meer duidelijkheid in te verschaffen voor de ziekenhuizen.

Ten eerste is de setup van de techniek bepalend in wat voor een GPU een ziekenhuis dient aan te schaffen. Je hebt hierin twee smaken:

  1. On-premise = een lokaal (vaste) computer/server aanwezig in het ziekenhuis

  2. Cloud = een niet lokale computer/server, maar online, in de cloud buiten het ziekenhuis

Op dit moment hebben de meeste ziekenhuizen voor project AI ondersteund coderen een on-premise server klaargezet.

6.2 Prijsbepaling

Ten eerste is het belangrijk om te kijken naar de verschillende soorten GPUs die CUDA compatibel zijn voor NVIDIA GPUs. Hieronder een overzicht van de meest interessante:

GPU

CPU

Compute capability

Azure ($/hour)

Google ($/hour)

Tesla K80

6

3.7

0.90

0.85

Tesla P4

8

6.1

1.00

-

NVIDIA T4

16

7.5

1.20

0.75

Tabel 1: CUDA compatible NVIDIA Data Center GPUs (bron 1, bron 2)

De NVIDIA T4 kaart is het meest aantrekkelijk en voldoet aan de technische specificaties van het project. Hieronder meer in detail prijsinformatie over deze type GPU.

6.3 Prijs on-premise

Belangrijk om hierbij aan te geven is dat wij de GPU niet 24/7 nodig hebben. In periodes van trainen verwachten wij de GPU maximaal 16 uur per maand nodig te hebben. Eventueel kan de GPU dus gedeeld worden met andere lokale servers in het ziekenhuis.

De eenmalige aanschafkosten van NVIDIA T4 videokaart voor een on-premise server zijn ongeveer €3.000,-.

Mochten jullie in het ziekenhuis een andere videokaarten beschikbaar hebben, neem dan contact met ons op of we ook met dit type kunnen werken.

6.4 Prijs per type cloud aanbieder

Belangrijk om hierbij aan te geven is dat wij de GPU niet 24/7 nodig hebben. In periodes van trainen verwachten wij de GPU maximaal 16 uur per maand nodig te hebben. Onderstaande prijzen zijn uitgegaan van 16 uur.

Per type cloud:

  1. Google Cloud (bron: n1-highmem-16):

    • 16 uur per maand = €17,84 per maand

  2. Azure Cloud (bron: NC16as T4 v3)

    • 16 uur per maand = €22,30 per maand