Llama: Modernes KI-Modell läuft [sehr langsam] lokal auf Pentium 2 und Windows 98

Ein Forschungsteam hat das Experiment gewagt und Metas Llama-Modell und ein paar andere Sprachmodelle auf Hardware der 90er ausgeführt.

Der Intel Pentium 2 unterstützt keine aktuelleren Compiler von C++ wie etwa mingw, möglicherweise da er keine Cmov-Instruktionen verwenden kann. Das Team musste deshalb auf die 26 Jahre alte IDE Borland C++ 5.02 zurückgreifen.

Die unterstützte nur ältere Versionen der Programmiersprache, so dass einige Code-Anpassungen vorgenommen werden mussten. [...] Die Basis des Projekts bildete der öffentliche Code llama2.c vom Entwickler Andrej Karpathy.

Link: https://github.com/karpathy/llama2.c