בקצרה
- NVIDIA מגבילה בכרטיסי ה-GeForce חלק מפעולות ה-AI לחצי מהקצב, כדי להפריד אותם מהכרטיסים המקצועיים
- מודרים פרסמו כלים בקוד פתוח שמסירים את המגבלה ב-RTX 20, 30 ו-40
- ב-RTX 4090 זה קפיצה מ-165.6 ל-331.6 טרה-פלופס בפעולות מסוימות
- לגיימינג זה לא משנה כלום. זה רלוונטי למי שמריץ מודלי AI בבית
את זה אף אחד לא סיפר לכם כשקניתם את הכרטיס: חלק מהליבות שלו עובדות בחצי כוח, בכוונה. ועכשיו, קבוצת מודרים מצאה דרך לשחרר את הבלם.
רגע, איזה בלם?
חברת NVIDIA משתמשת באותם שבבים גם בכרטיסי ה-GeForce שלנו וגם בכרטיסים המקצועיים, שעולים פי כמה. כדי שלא נקנה GeForce במקום כרטיס מקצועי, היא מגבילה בתוכנה את הקצב של חלק מהפעולות בליבות ה-Tensor, בעיקר FP16 ו-BF16 עם צבירה ב-FP32, ועוד כמה פעולות של TF32 ו-FP8. המגבלה: חצי מהקצב.
במילים פשוטות: הכרטיס יכול לעשות את העבודה מהר פי 2. NVIDIA פשוט לא נותנת לו.
איך הם עשו את זה?
המודרים פרסמו שלושה כלים בקוד פתוח: אחד לכל דור. הכלים משנים הגדרות ברמה נמוכה בכרטיס, לפני שהדרייבר של NVIDIA נטען. הכי חשוב: אין כאן צריבה של BIOS. השינוי זמני ונעלם אחרי ריסטארט, ולא צריך לעשות אותו מחדש אחרי עדכון דרייבר.
RTX 20
הכלי Turing-unlock, לכרטיסי Turing.
RTX 30
הכלי gpu-unlock, לשבבי GA102, GA103, GA104 ו-GA106.
RTX 40
הכלי gpu-unlock-ada, לשבבי AD102, AD103 ו-AD106.
המספרים
| כרטיס ופעולה | לפני | אחרי | שיפור |
|---|---|---|---|
| RTX 4090 · FP16 (צבירה FP32) | 165.6 | 331.6 | x2.0 |
| RTX 4090 · BF16 (צבירה FP32) | 165.5 | 330.6 | x2.0 |
| RTX 3090 Ti · BF16 | 87.5 | 157.4 | x1.8 |
| RTX 3090 Ti · TF32 | 42.6 | 82.6 | x1.9 |
| RTX 3090 Ti · FP16 | 87.5 | 118.4 | x1.35 |
| RTX 20 · GEMM (cuBLAS) | 48.1 | 85.2 | x1.77 |
בטרה-פלופס (TFLOPS). לפי המפתחים, כפי שפורסם ב-Club386.
אז הכרטיס שלי יריץ משחקים מהר יותר?
לא. וחשוב להגיד את זה. הרינדור וה-DLSS כבר מנצלים את כל המשאבים של הכרטיס, אז בגיימינג לא תרגישו שום הבדל. השיפור רלוונטי רק למי שמריץ עומסי AI: מודלי שפה מקומיים, Stable Diffusion, אימון מודלים וכדומה.
ויש גם צד פחות נעים
הכלים עובדים כרגע רק על לינוקס, ואולי יגיעו ל-Windows בהמשך. ויש עוד חשש: אם כרטיסי ה-RTX 3090 וה-RTX 4090 פתאום שווים פי 2 בעבודות AI, הביקוש לכרטיסים משומשים עם הרבה VRAM עלול לעלות. ואנחנו יודעים מה זה אומר על המחירים. כרטיסי הביניים והכניסה כנראה ייפגעו פחות, כי מי שמריץ AI מחפש בעיקר הרבה זיכרון.
ו-NVIDIA? אני מניח שהיא לא תשמח, ולא אתפלא אם נראה עדכון דרייבר שינסה לסגור את זה. כמו תמיד, אנחנו הלקוחות משלמים על חומרה מלאה ומקבלים חצי ממנה.
קראו גם: ה-RTX 5090 בדרך החוצה, וה-RTX 5080 כבר עולה כמעט 2,000 דולר. מה בעצם קורה פה?
ועכשיו אליכם
אתם מריצים AI מקומי על הכרטיס שלכם? הייתם מנסים את הכלים האלה? ספרו לנו בתגובות.
