Eine GPU (Gra­phics Pro­ces­sing Unit) ist ursprüng­lich eine Gra­fik­kar­te. Es hat sich jedoch gezeigt, dass ihre Archi­tek­tur, die tau­sen­de von klei­nen Rechen­ker­nen par­al­lel arbei­ten lässt, per­fekt für die mathe­ma­ti­schen Ope­ra­tio­nen beim Trai­ning von KI-Model­len (Matrix­mul­ti­pli­ka­tio­nen) geeig­net ist. Eine moder­ne GPU kann die­se Auf­ga­ben hun­der­te oder tau­sen­de Male schnel­ler aus­füh­ren als eine her­kömm­li­che CPU (Cen­tral Pro­ces­sing Unit). Sie ist der Tur­bo für KI.

Ein eige­ner KI-Ser­ver lohnt sich oft, wenn Sie kon­ti­nu­ier­lich und vor­her­seh­bar eine hohe Rechen­leis­tung benö­ti­gen. Die “Mie­te” von leis­tungs­star­ken GPU-Instan­zen in der Cloud kann bei dau­er­haf­ter Aus­las­tung sehr teu­er wer­den. Ein eige­ner Ser­ver bie­tet dann oft einen bes­se­ren TCO (Total Cost of Owner­ship). Die Cloud ist hin­ge­gen ide­al für kurz­fris­ti­ge Last­spit­zen oder wenn Sie nur gele­gent­lich sehr viel Leis­tung benö­ti­gen. Wir hel­fen Ihnen bei der Ana­ly­se.

Man unter­schei­det zwei Pha­sen im Leben eines KI-Modells: Das Trai­ning und die Infe­renz. Das Trai­ning ist die rechen­in­ten­si­ve Pha­se, in der das Modell lernt. Die Infe­renz ist die Anwen­dungs­pha­se, in der das trai­nier­te Modell genutzt wird, um neue Vor­her­sa­gen zu tref­fen. Ein Infe­renz-Ser­ver ist dar­auf opti­miert, sehr vie­le die­ser Anfra­gen schnell und mit gerin­ger Latenz zu beant­wor­ten.