ExplAInable

מה הקשר בין הרעלת training data להורדת הסבירות ל- end of text token?
בפרק 153 של אקספליינבל, אורי ומייק מארחים את ד״ר רז לפיד ואילון מזרחי לשיחה על למידה אדוורסריאלית. לא זו מארכיטקטורת GAN, אלא כזו שגורמת למודלי LLM לצטט את החוקה האמריקאית ולבזבז יותר מדי טוקנים. בפרק למדנו על תקיפות שמתחילות בwhitebox עם מודל opensource ונודדות למודלים סגורים, תקיפות פיזיות על מערכות סגורות שאומנו לזיהוי בני אדם, ואיך אפשר להתמודד עם מתקפה שמורידה את הסבירות שמודל שפה יוצא end of text token. אז האם אייג׳נטים שמשתמשים במודל סגור יותר בטוחים מכאלו שמשתמשים במשקולות מhugging face? איך תוקפים מרעילים תוצאות כשכל מה שיש להם הוא גישה ל training data? האם אורי ורז יפתחו עסק צדדי של הדפסת חולצות שיגרמו לנו להיות בלתי נראים?

ה scholar של קרליני: https://scholar.google.com/citations?user=q4qDvAoAAAAJ&hl=en
הגנה "לא מפוקחת" שהתקבלה ל ICCV: 
https://openaccess.thecvf.com/content/ICCV2025W/SafeMM-AI/html/Mizrahi_Pulling_Back_the_Curtain_Unsupervised_Adversarial_Detection_via_Contrastive_Auxiliary_ICCVW_2025_paper.html
התקפת black box על object detectors שהתקבלה ל - ECML: 
https://arxiv.org/abs/2303.04238

מה הקשר בין התפלגות פוסטריורית של בדיקות גנטיות לבריאן ג׳ונסון? 
השבוע באקספליינבל, אורי פותח מצלמה ומספר על ביו-האקינג מנקודת מבט קצת אחרת (ספוילר: בלי האקרים). ננסה להבין מה קורה כשמנסים לתשאל ריצוף גנום עם SQL, ואיך רופאים מגיבים לגישה "דאטאית" לבריאות. מה אפשר ללמוד (ומה פחות) מהשגרה הקיצונית של בריאן ג׳ונסון, למה ניסויים בלי קבוצת ביקורת הם בעייתיים יותר ממה שנדמה. ואפילו - האם בדיקה של 300$ יכולה להסביר למה צריך יותר חומר הרדמה אצל רופא שיניים?

השבוע באקספליינבל אנחנו עוברים למתכונת רימוט ומארחים את ד״ר שמואל חיון, חוקר AI בכיר בהירונדו, שיספר לנו על העקבות שתיוג לא נכון משאיר לנו בזמן אימון המודל. הבנו איך טעות סיווג בהקלטה עם קשר טמפורלי קשורה לקלסיפיקציה של חתולים, ומתי סטטיסטיקות על פיצ׳רים כבר לא יכולות לעזור לנו במציאת טעויות סיווג (רמז: תמונות). העמקנו בהשפעה של דוגמא עם סיווג לא-נכון על loss של דוגמא אחרת, ואיך מודאליות שונה תשתמש אחרת באותה ליבה אלגוריתמית למציאת הרעשים.

המאמרים שהוזכרו בפרק:
שערוך יעיל של data influence למציאת שגיאות תיוג

סקירת מגוון שיטות לחישוב מקורב של data influence

00:00 היי שמואל, חוקר AI בכיר בהירונדו
02:40 חשיבות איכות הדאטה וכלב שמסווג כחתון
07:35 מבדיקה ידנית ועד קרבה סמנטית: איך להתמודד עם רעשי סיווג
13:33 מודאליות ותיוגים: איפה אנחנו הכי פגיעים
18:45 שגיאות תיוג נפוצות
22:44 איך לומדים ביחד ולחוד עבור מודאליות שונה
32:29 תוצאות בשטח
35:48 איך ללמוד עוד

בפרק 150 של אקספליינבל, ולכבוד הסקירה של המאמר ה-555 של מייק, הסוד נחשף: מי הם הכותבים הסודיים מאחורי המאמרים (ואיך זה עוזר לקריירה שלהם). נבין מה הקשר בין הנוסחה של log likelihood לפסילת מאמרים, ואיך לדעת איזה מאמר לקרוא כשאין לנו מנחה או משימה מוגדרת בעבודה. נבדוק מהם הטיפים המובילים שעזרו למייק להפסיק לקרוא 85% מתוך 3000 המאמרים ששקל לסקור, ואיך שיתופי פעולה עם דאטה סיינטיסטים מתחילים הפכו להיות הסקירות האהובות עליו.
פרק 150 שיצליח להעביר לכם חצי שעה שלמה (או 20 דקות על מהירות x1.5) - זמין עכשיו בכל הפלטפורמות!
קסניה בטוויטר: https://x.com/TheTuringPost
קמרון וולף: https://substack.com/@cwolferesearch
נתן למברט: https://substack.com/@natolambert 
סבסטיאן רסצ׳קה: https://substack.com/@rasbt
00:00 מחוסרים מתמטיים בתואר שני בטכניון ועד לקריאה של 3000 מאמרים
04:34 טקסונומיה של מידע: איך לבחור מה לסקור
10:43 להיכשל מהר: איך לסנן 85% מהאמרים ביעילות
18:19 שיתוף הפעולה הסודי עם סוקרים וסוקרות מהתעשייה, ואיך זה מקדם אותם
21:59 הסקירה הכי גרועה שמייק כתב
26:07 איך לשתף פעולה עם מייק לקראת הסקירות הבאות שלו ומה אפשר ללמוד מזה

למה אנחנו לא רואים אלגוריתמים גנטיים בChatGPT?
היום באקספליינבל, הילה ותמיר בחנו אלגוריתמים גנטיים כתשובה לפונקציית מטרה שאינה גזירה, מעולמות הסייבר ועד reinforcement learning. האם אלגוריתם פשוט שיכול לייצב מטוטלת ולפתור בעיית knapsack יוכל לעזור לנו באופטימיזציה של רשתות גדולות? בפרק נדבר על חשיבות יצירת Generation Zero בעולם בעיה מורכב, לעומת מקרים בהם כל ניחוש התחלתי הוא טוב, איך בעיה קומבינטורית יכולה להפוך למערך של מערכים, והאם יש סיכוי שנראה יותר אלגוריתמים גנטיים באופטימיזציה של מודלי שפה גדולים.

00:00 בעיית תיק הגב: איך לבנת זהב קשורה לפונקציה שאינה גזירה?
02:50 איך אלגוריתם גנטי עובד
07:22 אלגוריתמים גנטיים בעולם ה Reinforcement Learning
11:13 למה אי אפשר להשתמש באלגוריתמים גנטיים ברשתות גדולות יותר
13:57 איך ללמוד עוד על הנושא
בעיית Knapsack https://he.wikipedia.org/wiki/%D7%91%D7%A2%D7%99%D7%99%D7%AA_%D7%AA%D7%A8%D7%9E%D7%99%D7%9C_%D7%94%D7%92%D7%91 
בעיית cartpole בעזרת אלגוריתמים גנטיים: https://gsurma.medium.com/cartpole-introduction-to-reinforcement-learning-ed0eb5b58288 
הפטנט המשלב אלגוריתמים גנטיים של חברת זיסקיילר: https://patents.google.com/patent/US20250307332A1/en