This project runs a 125-billion-parameter AI model on a regular gaming PC.
Strata is the inference engine that lets a one hundred twenty five billion parameter model run on a standard gaming computer. Most people assume that kind of intelligence requires massive server farms, but this project proves your graphics card and system memory are enough to handle it. The real magic is how it splits the work between your hardware, using a clever guessing mechanism to check multiple possible words at once rather than one by one. This makes the model write answers faster than you can read them, all for free and right on your local machine.
Open source: niko1221/strata
Follow for more open source project drops.
#LocalAI #DeepSeek #LLM #Claude
Transcription
Strata est l'enfermage de l'enfermage qui fait que l'un d'un model d'un model de 125 billons de paramètres se rend sur un computer standard de jeu. La plupart d'entre eux pensent que l'intelligence de l'indépendance nécessite des phares de service massive, mais ce projet prouve que votre carte de graphique et la mémoire du système sont suffisamment suffisamment suffisamment suffisamment suffisamment suffisamment La magie réelle c'est comment ça explique le travail entre vos hardwares en utilisant un mécanisme clé pour vérifier plusieurs mots possibles à une fois plutôt qu'une par une. Cela fait que l'enfermage correcte les réponses plus vite que vous pouvez les lire. All for free and write on your local machine.
Voir la source originale