ה-DOJO הוא מחשב-על (super computer) אשר טסלה מפתחת עבור לימוד בינה מלאכותית לנהיגה אוטונומית.
טסלה כבר מעבר לחברה המייצרת רכבים חשמליים בלבד, ועוסקת כיום במגוון תחומים החל מיצור ואגירה של אנרגיה, פיתוח ויצור סוללות, ביטוח ועד למה שרבים מחשיבים כפרוייקט השאפתני ביותר שלה כיום של פיתוח בינה מלאכותית לראיה בזמן אמת.
עבור לימוד הבינה המלאכותית טסלה הבינה שעליה להתבסס על מחשב-על שיפותח על ידה ולא על מחשבים קיימים כגון ה-TPU של גוגל או ה-GPU של Nvidia שהם הסטנדרטיים כיום לאימון רשתות נוירונים.
לכן מחשב ה-DOJO מציג תחום נוסף שאליו חברה זו נכנסת והוא פיתוח של מחשב-על המותאם להרצה של רשתות נוירונים.
Whitepaper שהתפרסם לאחרונה לגבי הפורמט הנומרי שבו יעשה שימוש במחשב ה-DOJO חושף את עומק האינטגרציה הוורטיקלית שחברה זו מיישמת.
פורמט חדש זה פותח לאור החסרונות הקיימים בפורמטים הנומריים המקובלים כיום, אשר הופכים את השימוש בהם עבור אימון רשתות נוירונים למורכב ופחות יעיל.
פורמט נומרי הוא האופן שבו מייצגים מספר בתוך זכרון של מחשב. מחשבים הם בינאריים ומכילים ביטים היכולים לקבל את הערך 'אפס' או 'אחד', ומספר הביטים שבהם נעשה שימוש מגדיר את סדרת המספרים שניתן לייצג. לדוגמא, שמונה ביטים יכולים לייצג סדרת מספרים עד ל-256 (לפי שתיים בחזקת שמונה).
ברשתות נוירונים לרוב יש בלוקים גדולים של מספרים המאורגנים במטריצות. ומסתבר שכאשר מכפילים מטריצות אין באמת צורך בביטים רבים, ובעצם ניתן להסתפק בפורמט נומרי נמוך.
אם לדוגמא רק ארבע או חמישה ביטים נדרשים לחישוב, בעוד הארכיטקטורה של המחשב מבוססת על פורמט נומרי גבוה יותר נוצר בזבוז במשאבי מחשוב אשר אינו משפר את התוצאה הסופית.
לכן, מחשב המתבסס על פורמט נומרי נמוך, יספק ביצועים משופרים ויעילות גבוהה יותר בהרצת רשתות נוירונים, לעומת מחשב זהה עם אותו מספר טרנזיסטורים וזכרון המשתמש בפורמט נומרי גבוהה יותר.
הפורמטים הנומריים שטסלה חשפה ב- whitepaper הם CFP8 ו-CFP16 אשר מביאים לשיפור של פי 2 ו-4 בביצועי כוח המחשוב עבור הרצת רשתות נוירונים.
לפורמט נומרי המותאם לחישובים המבוצעים יש יתרון בכך שרישום וקריאה של מידע מהזכרון לא לוקח יותר זכרון ורוחב פס ממה שנדרש עבור היצוג המספרי של החישוב המבוצע. יתרון זה חשוב ברשתות נוירונים שבהם רישום וקריאה של מידע מהזיכרון נעשה באופן תדיר.
באופן עקרוני, פעולות המבוצעות על שבב של מחשב מהירות ויעילות יותר בצריכת אנרגיה מאשר פעולות הדורשות לרדת מהשבב, ולכן פורמט נומרי נמוך יכל לאפשר ביצוע פעולות רבות יותר על השבב עצמו.
הפורמטים הנומריים CFP8 ו-CFP16 המשתמשים בשמונה וששה-עשר ביטים בהתאמה, משמשים לחישובים אשר במחשבים הקונבנצינאליים כיום נעשים בעזרת יצוג נומרי של שש עשרה ושלשים ושניים ביטים.
עם פרסום whitepaper זה, כל מי שמעוניין לבנות חומרה שתתממשק עם מחשב ה-DOJO יוכל לקחת בחשבון את הפורמטים הנומריים הנדרשים. מידע זה חשוב מכיוון שפורמטים נומריים אפילו רק קצת שונים יכולים להוות חסם להתממשקות בין מערכות מחשוב שונות.
————-
פוסט זה מבוסס על שיחה בערוץ היוטיוב של Dave Lee עם מומחה הבינה המלאכותית James Douma שניתן לראות בלינק: https://www.youtube.com/watch?v=C8xgHLJnRsg
