ExplAInable

בפרק מיוחד ומרתק אנחנו מארחים את רועי שנברג, איש Data Science ו-Machine Learning עם מעל 10 שנות ניסיון (ומפתח הפרויקט PUMBEE להקראת טקסט בעברית), לשיחה עמוקה על הצלחתו לשבור שלושה שיאי מהירות בתחרות ה-NanoGPT.
תחרות ה-Speedrun, שהתפתחה בעקבות סדרת Zero to Hero של אנדריי קרפתי (ממייסדי OpenAI), מאתגרת מפתחים לאמן מודל שפה שווה ערך ל-GPT-2 על דאטה-סט FineWeb2 בזמן הקצר ביותר, על גבי תשתית של 8 מעבדי H100. רועי משתף אותנו בכל שלבי הדרך – מהרעיונות הטכניים האמיצים ועד למשברים שכמעט גרמו לו לוותר

בפרק הזה מייק ארליכסון מארח את יונתן קריינר לשיחה על עולם הסייבר, על האתגרים שמול ארגונים בעידן של מתקפות מתוחכמות יותר, ועל הדרך שבה מוצרי אבטחה חדשים מנסים לזהות סיכונים לפני שהם הופכים לאירוע אמיתי.השיחה נוגעת בפער שבין פתרונות סייבר מסורתיים לבין הצורך במערכות חכמות, מהירות ומדויקות יותר, שמסוגלות לעזור לצוותי אבטחה להבין מה באמת קורה בסביבה שלהם, לתעדף התרעות, ולפעול בצורה יעילה יותר מול איומים.במהלך הפרק יונתן משתף על החשיבה מאחורי המוצר שלו, על הבעיה שהוא מנסה לפתור, על האתגרים בבניית מוצר סייבר בעולם אמיתי, ועל מה שנדרש כדי להפוך טכנולוגיה טובה לפתרון שמייצר ערך ממשי ללקוחות.עקבו אחרינו גם יוטיוב:
https://www.youtube.com/@explainable-podcast/videos
#dlp#ai #security #llmsecurity #datascience #datasecurity

איך לוקחים שפה מורכבת ועשירה כמו עברית ומלמדים מודל בינה מלאכותית לדבר אותה שוטף? ולמה דווקא המודל של אינבידיה הוא זה שניצח את Llama ואת המודלים של IBM במבחן העלות-תועלת?
בפרק החדש של אקספלינבל, מייק מארח את שארל ויינברגר (מוביל פיתוח ב-AI Next של PWC) ונעם קייזר (מפתח בצוות) לשיחת עומק על מאחורי הקלעים של פרויקט אימון מודל השפה בעברית: פרויקט ששבר את הרשת עם 30,000 הורדות ו-4 שחרורי גרסאות בשבוע אחד בלבד.
בפרק נדבר על:
אתגר השפה העברית: למה המורפולוגיה העברית עושה צרות לטוקנייזרים הסטנדרטיים, ואיך מנצחים את זה.
מלחמת המודלים: למה הצוות בחר דווקא ב-"נימטרון" (Nemotron) של Nvidia, ולמה מודלים פופולריים כמו Aya, Llama וגרנית נשארו על רצפת חדר העריכה בגלל יחסי דחיסה גרועים.
משבר "אפקט הלוס": הרגע המלחיץ שבו מדדי השגיאה ירדו, אבל גם הביצועים צללו ואיך הגדלת ה-Batch ל-16.5 מיליון טוקנים הצילה את הפרויקט.
בנצ'מרק מול המציאות: למה ניצחון במבחנים סינתטיים הוא לא תמיד מה שהמשתמשים מחפשים, והתובנות ממבחן הקהל (Arena).
תשתיות של אלופים: איך המעבר ממעבדי H200 ל-Blackwell 300 החדשים של AWS חתך את זמני האימון פי 7 והוזיל את העלויות לעשרות אלפי דולרים בודדים.
איך נכנסים לתחום? הטיפים של ישראל ונועם למי שרוצה לפתח קריירה באימון מודלים למה מיינדסט מחקרי ושליטה בתשתיות (Docker, Sharding, AWS) חשובים לא פחות מאלגוריתמיקה.

בפרק 156, תמיר מייק והילה מתכנסים לענות על השאלה הבוערת: איך נוכל לעודד בני-נוער ללמוד את מקצועות ה STEAM. האם רובוטי גרוטאות בעיצוב אישי, או קיצורי דרך מתמטיים בטיקטוק יכולים לעזור לנערות ונערים להיכנס לתחום? נדבר על שלוש סוגי המניעים ללמידה: סקרנות, חשיבות היסודות, והערך העצמי, ונתהה האם תוספת ה- A למקצועות ה-STEAM היא שתחולל את המהפך. האם נצטרך מתמטיקאים עוד 50 שנה? האם GenAI גורמת לנערות ונערים להתקרב יותר או פחות לקוד? ומתי נזכה לראות שיעור של תמיר בלייב? כל זאת - בפרק!

הפרק עוסק במודלי דיפוזיה ליצירת טקסט (DLMs), המאומנים לג'נרט טקסט מתוך רעש (ג'יבריש).להבדיל מעולם התמונות שבו רעש הוא טבעי, בעולם השפה ייצוג הרעש מורכב יותר בשל אופייה הדיסקרטי של השפה. קיימות שלוש גישות מרכזיות בתחום: הגישה הרציפה (המרעשת את האמבדינגס), הגישה הדיסקרטית (המחליפה טוקנים בג'יבריש) או ממסכת אותם), וגישת ה-Block Diffusion המשלבת חיזוי אוטוגרסיבי עם דיפוזיה.
היתרון המרכזי של מודלי דיפוזיה הוא מהירותם הרבה לעומת מודלים אוטוגרסיביים, שכן הם מסוגלים לחזות בלוקים שלמים של טוקנים במקביל במקום לחזות טוקן אחר טוקן. למרות הפוטנציאל, המודלים הקיימים כיום עדיין מוגבלים מבחינת איכות הטקסט שהם מייצרים, ואין כרגע מודלי דיפוזיה גדולים מאוד מאות מילאירדי פרמטרים שמסוגלים להפגין ביצועי ברי השוואה עם LLMs בגדלים שונים