Hidden layers
UriEliabayev
Hidden layers - האנשים שמאחורי הדאטה. פודקאסט מבית MDLI שבו אני (אורי אליאבייב) מראיין אנשים מעניינים בעולמות הדאטה, ה-AI וכו’.
Hidden layers - האנשים שמאחורי הדאטה. פודקאסט מבית MDLI שבו אני (אורי אליאבייב) מראיין אנשים מעניינים בעולמות הדאטה, ה-AI וכו’.
איך בוחנים אם AI Agents מוכנים לפרודקשן? ראיון עם אילן קדר מחברת Plurai
פרקים
בפרק הזה היה לי העונג לארח את אילן קדר, מנכ"ל ומייסד שותף בחברת Plurai, חבר שאני מכיר כבר כמעט עשור. את הפרק הקלטנו באולפן החדש של NVIDIA בתל אביב. אילן הוביל בעבר קבוצות AI בנקסר, ועכשיו הוא בונה ב-Plurai סימולטור שבודק AI Agents ותופס את הבעיות שלהם לפני שהלקוחות נתקלים בהן. בשיחה דיברנו על Evaluation של Agents, על דאטה סינתטי ולמה לבקש ממודל "תייצר לי עשר דוגמאות" לא עובד, ועל איך בונים Small Language Models שמותאמים למשימה אחת ועולים הרבה פחות. פרק חובה לכל מי שבונה Agents בארגון ורוצה להבין איך עוברים מדמו לפרודקשן. גילוי נאות: אילן הוא חבר טוב ויש לי גם הזכות לייעץ ל-Plurai ולעבוד איתם :) לינק לאתר שלהם: https://www.plurai.ai/
הפרק הזה היה לי העונג לארח את אבישי זווצניק, Security Research Director בחברת Cato Networks ולדבר על ההשפעה של AI על כל תחום הסייבר. חברת Cato היא בין חברות הסייבר הותיקות בישראל שמגנה על ארגונים רבים בארץ ובעולם - מה שמאפשר להם לחוות מקרוב את כל השינוי שקורה בתחום. בשיחה עם אבישי דיברנו על הדרך שבה AI שינה את הדרך שהם עובדים בה, את האופי שבו הם משלבים AI בפיתוח שלהם והכי חשוב: על הצורך לסגור פרצות מהר נוכח רף האיומים החדש שנוצר. פרק חובה למי שרוצה להכיר לעומק את מאחורי הקלעים של תחום הסייבר וה-AI וכיצד הוא משתנה.
פרק ראשון בסדרה חדשה שלנו על עולמות ה-Data Centers, הקומפיוט וה-AI Factories, והפעם הקלטנו באולפן החדש של NVIDIA בתל אביב. האורח הראשון בסדרה הוא גלעד שיינר, סגן נשיא בכיר (SVP) ל-Networking ב-NVIDIA. גלעד הצטרף למלאנוקס ב-2001 כמתכנן שבבים, בשנים הראשונות של פרוטוקול InfiniBand, ומעטים מכירים כמוהו את מה שקורה בין ה-GPUs. שאלתי את גלעד למה GPU לבד כבר לא מספיק, ומה ההבדל בין חוות שרתים רגילה לבין AI Factory, מפעל שמייצר טוקנים. דיברנו על NVLink ועל 1,152 GPUs שעובדים כמחשב אחד, על מחשוב בתוך הרשת (עם אנלוגיית פיצרייה מצוינת), על למה NVIDIA תומכת גם ב-Ethernet, ועל Scale-Across: חיבור של AI Factories רחוקים לאימון אחד. והכי מעניין מבחינתי: עד כמה האנרגיה והאופטיקה הופכות לצוואר הבקבוק האמיתי, ולמה ארבעה מתוך שבעת השבבים במערכת של NVIDIA הם שבבי רשת, ומה התפקיד של ישראל בכל זה. פרק חובה לכל מי שרוצה להבין איך בנויה התשתית שמאחורי ה-AI.
In this episode I had the honor to interview Benjamin Mayr, Vice President, Head of Architecture at NiCE Cognigy. Benjamin took me deep into what it really takes to run enterprise-grade conversational and agentic AI at scale. We talked about the "harness" around the model - the layer that turns a raw LLM into a reliable agent in a live contact center. He also broke down the LLM Gateway, which pools and load-balances across many model endpoints to keep everything fast and always-on. We also explored why picking the right model for the right job beats raw reasoning power, and looked ahead to a future of personal agents, agent-to-agent interactions, and even humanoid robots as the next interface. This interview was part of my coverage of the NiCE World conference. I learned so much about the real path from conversational AI to production-grade agents in this conversation. Audio is here: https://hiddenlayers.podbean.com/
פרק נוסף לפודקאסט שלנו והפעם פרק בשיתוף חברת Manifold, שבו ראיינתי את גלעד לוי, המייסד והמנכל של החברה. לא בכל יום אתה מראיין יזם שרוצה לקרוא תיגר על הטכנולוגיה הכי מוכרת ונפוצה בתחום ה-AI וממש עובד על ארכיטקטורה חדשה שתחליף את הטרנספורמים המפורסמים. גלעד, שאת התואר הראשון שלו עשה בגיל 15 בטכניון, שיתף אותי על למה הוא חושב שטרנספורמרים כבר לא מספיקה, על הגישה שלהם להתמודד עם בעיות AI וגם למה כל כך חשוב לו להקים מעבדה מתקדמת בתחום ה-AI כאן בישראל. פרק טכני מהרגיל אבל מאוד מעניין לכל מי שרוצה לצלול למאחורי הקלעים.
פרק נוסף לפודקאסט שלנו והפעם פרק בשיתוף עם חברת Alice, שבו ראיינתי את אבי גולן, Chief Product & Engineering Officer בחברה. את הפרק הזה רציתי המון זמו להקליט. את אבי גולן אני מכיר כבר שנים רבות ומאוד ריתק אותי לשמוע על השינוי ש-Alice עשו במוצר שלהם. כיום הם עובדים עם 8 מתוך 10 מעבודת ה-AI המובילות בעולם והם עוזרים להם להבין מה גבולות הגזרה של המודלים שלהם. הם מריצים מבחני עומק על היכולות של המודלים ומוודאים שהם לא סוטים מסט היכולות שהוגדר להם. מה שמרתק באמת זה שהם בנו מנגנון בסקייל שיודע לקחת את המודלים האלה לקצה במספר רחב של תחומים (הם קוראים לזה GYM) ואז לספק תובנות מאוד חשובות למעבדות - תובנות שהם יכולים להשתמש בהם כדי לתקן את נקודות התורפה של המודלים שלהם.
פרק חדש בפודקסט והפעם שיתוף פעולה עם Bria. בפרק הזה היה לי תענוג לראיין את מישה פיינשטין, ה-CTO של חברת Bria. אני עוקב אחרי Bria מאז שהוקמה ועוד אז המשימה שלהם נראתה לי כמעט בלתי אפשרית: הם רוצים לאמן מודל בסיס מאפס שידע לייצר תמונות באיכות הגבוהה ביותר אבל גם לדעת איזה אומן תרם ליצירת התמונה ולשלם לו בהתאם. כלומר, הם פיתחו מודל שידע לייצר תמונות אבל גם להביא תמלוגים לכל מי שהמודל התבסס עליו בג'ינרוט הנוכחי. זה אתגר טכנולוגי כל כך קשה וזה פשוט תענוג לראות חברה ישראלית שמצליחה בו כל כך. אז אם אתם רוצים ללמוד איך זה להתחרות בחברות הטכנולוגיה הגדולות בעולם ואיך זה ליצור מודל בסיס עצמאי, אז אתם מוזמנים להאזין לפרק.
הפעם היה לי הכבוד לראיין את ערן הופמן, ה-Chief R&D officer בחברת Dream. בחברת Dream מפתחים טכנולוגיה מיוחדת שנועדה להגן על ממשלות וגופים ציבוריים כנגד מתקפות סייבר. בפרק דברנו על האתגרים המיוחדים שיש בסוג הלקוחות האלה, על הסטאק הטכנולוגי המאתגר וגם על איך מודלי AI כמו מיתוס משפיעים על עתיד הסייבר ויכולות התקיפה כנגד מעצמות. חברת Dream הציגה בכנס CyberML שלנו: https://machinelearning.co.il/lp-events/cyberml/
הפרק היה לי הכבוד לראין את עופרי זיו, מייסד שותף וה-VP Research בחברת Tenzai ולדבר איתו על איך בונים האקר מבוסס מודלי AI. בפרק צללנו לדרך שבה מודלי AI הופכים להיות טובים במציאת חולשות ואיך ניתן להפוך אותם להאקרים שעוזרים למצוא נקודות תורפה במערכות. חברת Tenzai היא אחת מהשותפות שלנו בכנס CyberML בו הם משתפים לעומק על התהליך הטכני של בניית האקר AI. לינק לכנס: https://machinelearning.co.il/lp-events/cyberml/
בפרק הזה היה לי הכבוד לארח את בן משיח, Director of Data & AI בחברת Claroty. מה שמיוחד ב-Claroty הוא שהם מאבטחים את המתקנים הרגישים בעולם: החל ממפעלים ובתי חולים ועד לדאטה סנטרים גדולים. כל זה יוצר אתגרים מאוד משמעותיים כשמנסים להגן על אתרים חשובים שכאלה - במיוחד שחלקם לרוב מנותק מהאינטרנט. בפרק דברנו על איך הם משלבים AI כדי לתת מענה לכל איומי הסייבר של הלקוחות שלהם וגם לאן הולך התחום כולו. אם אתם רוצים לשמוע עוד על הנושא, Claroty ידברו על כל זה ועוד בכנס CyberML שלנו: https://machinelearning.co.il/lp-events/cyberml/
הפרק הזה היה לי העונג לארח את שירן, VP Research בחברת Cyera. למי שלא מכיר, מדובר על אחת מחברות הסייבר הישראליות הצומחות ביותר. בפרק דברנו על הדרך שבה עושים מחקר דאטה ו-AI מעמיק ועל האופן שבו מודלי שפה עוזרים להגן על דליפות מידע. הפרק עסק גם בצורך לאמן מודלים באופן עצמאי (במיוחד בסקייל שלהם) וגם על העתיד של תחום הסייבר וה-AI. מוזמנים לשמוע עוד על מה ש-Cyera עושה בתחום בכנס CyberML שלנו: https://machinelearning.co.il/lp-events/cyberml/
הפרק הזה היה לי העונג לארח את טום ברנע מחברת Tenable - אחת מחברות הסייבר המשמעותיות בעולם. בפרק דברנו על איך תחום הסייבר משתנה בעקבות מודלי GenAI ואיך הם כחברת אבטחה צריכים להתמודד עם כל השינויים האלה. מה שמיוחד בפרק הזה הוא שטום שיתף לא מעט ממה שקורה בשטח ובאתגרים שחברות מתמודדות עמן ביום יום. העובדה שב-Tenable פועלים עם כל כך הרבה חברות מביאה להם ראיה מאוד רחבה על השוק ועל הדרך שבה ארגונים מנסים להתמודד עם כל האיומים החדשים. הם כמובן גם ידברו בכנס CyberML שלנו ויסבירו עוד על מה שהם עושים בסייט בארץ. לינק: https://machinelearning.co.il/lp-events/cyberml/
בפרק הזה היה לי העונג לראיין את גבריאל כהן, המייסד שותף של NanoClaw. לגבריאל יש סיפור חיים מרתק שהוביל אותו להקים גרסה מאובטחת של OpenClaw שיודעת לספק את כל הפונקציונליות העיקרית אבל באופן הרבה יותר בטוח. הפרויקט תפס תאוצה בחודשים האחרונים והפך להיות סנסציה גדול בקרב קהילת ה-AI הבינלאומית - כולל אנדריי קרפתי שהתלהב מהפרויקט מאוד. בפרק עצמו דברנו על מה המהות של סוכנים, איך בונים אותה בצורה מאובטחת, מה העתיד של התחום כולו ועל עוד הרבה נושאים מרתקים. זמין גם ביוטיוב: https://youtu.be/Yg2pRynmUtY
הפרק היה לי העונג לדבר עם גילי כנפו, AI Lead בחברת Vega - בין הסטארטאפים הכי מעניינים בתחום ה-AI והסייבר. דברנו על איך מאבטחים דאטה בעידן ה-AI, איך חוקרים פרצות אבטחה בעזרת סוכנים ובכלל לאן כל התחום הולך בשנים הקרובות. גילי ידבר על כל זה ועוד בכנס CyberML שלנו: https://machinelearning.co.il/lp-events/cyberml/
עדי הוא מי שאני הולך אליו ללמוד על כל דבר שקשור לחומרה בתחום ה-AI. בפרק הזה דברנו על שבבים לאימון, להרצה ובכלל על העתיד של כל התחום הזה. דברנו כמובן גם עם אנבידיה ועל התחרות שיש להם ואיך אפשר באמת לאתגר את הדומיננטיות שלה בעולם השבבים. פרק חובה לכל מי שרוצה להבין לעומק את צד החומרה במהפכת ה-AI.
In this episode I had the honor to interview Leo Leung, Director of Product Management - AI & Computing Infrastructure. Leo Leung took me deep into the 8th Gen TPUs. We explored how Google connects 134,000 chips into a single system and why they are specifically increasing memory and SRAM to support the high-speed requirements of autonomous agents. This interview was part of my coverage of the Google Cloud Next conference.
In this episode I had the opportunity to interview Bill Jia, VP Engineering at Google Cloud. Bill Jia shared how his team bridges the gap between DeepMind’s research and massive production runs on 100k+ TPUs, focusing on "Good-put", the art of ensuring productive compute time during weeks of training. I learned so much about the actual transformation from research to production in this conversation. This interview was part of my coverage of the Google Cloud Next conference.
In this episode I had the honor to speak with John Abel, Managing Director, Office of the CTO at Google Cloud. I had an amazing conversation with him and he gave me such interesting perspectives about the future of agents. We also discussed why domain experts are the real winners of the AI revolution and how "Agentic AI" will finally eliminate daily friction to make room for creative work. This interview was part of my coverage of the Google Cloud Next conference.
בפרק הזה, חלק מסדרת CyberML שלקראת הכנס שלנו, אירחתי את נדב ארז מ-Twine לשיחה מרתקת על הצומת בין AI לסייבר. נדב הוא ה-CTO של Twine ואחד המייסדים, ובחברה הם בונים את "אלכס" - עובד דיגיטלי שמקבל KPI ופועל מולו 24/7 בעולמות ה-Identity Management. דברנו על איך בונים עובדים דיגיטליים שאפשר לסמוך עליהם, על מתקפות סייבר עתידיות, על מודלי AI שמתמחים בסייבר ועוד מלא דברים מעניינים. נדב ידבר על כל זה, ועל עוד הרבה מעבר, בכנס CyberML שלנו. לינק לכנס שלנו: https://machinelearning.co.il/lp-events/cyberml/
בפרק הזה היה לי העונג לארח את עומר נבו, CTO ומייסד שותף בחברת Irregular. דיברנו על שני נושאים שמרתקים אותי במיוחד: הערכת היכולות המסוכנות של מודלי AI מתקדמים והמרוץ לבניית הגנות סייבר בעולם של סוכנים אוטונומיים. הזכרנו את שיתופי הפעולה הייחודיים של Irregular עם השחקניות הגדולות בעולם כמו OpenAI, אנטרופיק וגוגל, ועל האופן שבו הם בונים סביבות סימולציה מורכבות כדי להבין איפה המודלים נשברים. דנו באיום של תקיפות "דיסטילציה" שמטרתן לשכפל מודלים יקרים, וגם על היכולת המדהימה לחזות מראש את מסלול הסיכון של מודל עוד בשלבי הפיתוח שלו. דיברנו גם על הפער שבין אינטרסים עסקיים לבטיחות, ואיך נראה העתיד של הגנת הסייבר בעידן הבינה המלאכותית. כנס CyberML: https://machinelearning.co.il/lp-events/cyberml/
בפרק הזה היה לי העונג לארח את רוני גולדשמיט מחברת Nexar ודברנו על שני נושאים שמאוד מסקרנים אותי: מודלי AI שאפשר להריץ מקומית וגם על World models - מודלי AI שבוראים ויוצרים עולמות שלמים עם חוקי פיזיקה מלאים. בפרק דברנו גם על פריצת הדרך החדשה שהשיגה Nexar בתחום ועל משפחת המודלים החדשים שהיא הכריזה עליהם שמבינים את הפיזקליות של העולם בצורה ממש טובה. דברנו על איך מאמנים מודל שכזה, מה היישומים של הטכנולוגיה וגם מה יהיה לנו בעתיד. דף ההשקה: https://badas.nexar.app/ מאמר: https://arxiv.org/abs/2604.05767 בלוג על הנושא: https://www.nexar-ai.com/blog/beyond-the-beep-badas-2-0-and-the-end-of-reactive-collision-warnings
לכתוב קוד באמצעות AI זה קל, לבדוק שהוא באמת טוב זה כבר חתיכת אתגר. בדיוק על זה דברתי עם איתמר פרידמן, המייסד של Qodo - סטארטאפ ישראלי מבטיח שמוודא שהקוד שנכתב על ידי מודלי AI באמת באיכות טובה. בפרק דברנו על מה זה אומר בכלל קוד טוב, למה זה כזה קשה לבדוק איכות של קוד כזה וגם: איך איתמר הגיב ברגע שאנטרופיק השיקה מוצר מתחרה לשלו.
בפרק הזה אירחתי את אנדריי אוסטרובסקי (Andrey Ostrovsky), Staff Machine Learning Engineer ב-Intuit, לשיחה עמוקה על האתגרים בשילוב AI בכתיבת קוד בתאגידים גדולים. הפרק בחסות Intuit. מה שמיוחד בשיחה שהייתה לנו היה שלא דברנו רק על איך המפתח הבודד יכול להשתמש ב-AI, אלא ממש על איך ארגון יכול לכתוב קוד בסקייל באמצעות AI. כלומר, איך בונים מכונה שמייצרת קוד אבל באופן שמשתפר באופן קבוע (אבולוציוני) ומה התהליכים האירגוניים המתאימים לזה. מה שבאמת היה מיוחד בשיח שלנו זה שמדובר על תאגיד גדול. אינטואיט היא ענקית פיננסית ועוסקת בנושאים הכי רגישים של הלקוחות שלה. אין מקום לטעויות. ועם כל זה, הם בנו מתודולוגיה שלמה שמאפשרת להם לאמץ קוד שנכתב עם AI שעומד בכל תנאי האבטחה והאיכות שלהם. אני לא מכיר הרבה ארגונים בגודל הזה שעשו את כל כברת הדרך הזו. כלמי שעובד בארגון שרוצה להכניס קוד בסקייל (לא רק ברמת המפתח) חייב לשמוע את הפרק הזה. אנדריי והצוות עשו עבודה ממש מעולה והרגשתי שיכלתי לדבר איתו עוד שעות על זה.
בפרק הזה דברתי עם צופית וריטה, שתיהן חוקרות מ-Intuit, ודברנו על השילוב של תחום ה-AI והסייבר. הראיון הזה היה המשך להרצאה המעולה שהן העבירו בכנס GenML שבו הן דיברו על איך מודלי AI יכולים להיות מושפעים משינוי קטן בקלט. בפרק הזה הן דיברו איך אפשר לעשות שינוי קטן בתמונה, או במסמך, ולגרום למודלי AI הכי מתקדמים לבצע פעולות אחרות לגמרי. הן גם סיפרו על המחקר שהן עושות ואיך זה בא לידי ביטוי בסוף במוצר הסופי והדרך שבה הן מגינות על הלקוחות של Intuit. זה פרק חשוב לכל מי שבונה מערכות מבוססות מודלי AI ורוצה להכיר את כל האיומים שקיימים כיום.
הפרק היה לי העונג לארח את יובל בלפר, Senior Developer Advocate בחברת AI21 Labs. למי שלא מכיר, חברת AI21 Labs היא החלוצה הישראלית בתחום מודלי השפה ובין החברות היחידות הישראליות שמפתחות מודל בסיס מאפס. הקלטנו את הפרק בנובמבר, קצת לפני הכנס של הקהילה (GenML25) והוא היה הכנה לקראת ההרצאה שלהם בכנס. בשיחה דברנו על המוצרים השונים של החברה, המודלים לאורך השנים, השינויים שקרו בשנים האחרונות, הפלטפורמה החדשה שלהם לסוכנים והכי חשוב: איך זה מרגיש להתחרות בענקיות הטכנולוגיה הבינלאומיות בתחום הכי מדובר בעולם הטכנולוגיה. ואחרון חביב, יש להם גם פודקאסט מאוד מוצלח על AI ויובל הזכיר פרק ספציפי אצלנו בשידור אז הלינק פה: https://www.ai21.com/yaap/rag-is-not-solved/
בפרק הזה אירחתי את עידן בסוק, Chief R&D and AI Officer, בחברת Aidoc העוסקת בתחום פיתוח מודלי AI לעולם המדיקל. דברנו על השלבים הראשונים של החברה, המעבר ממספר מודלים למודל אחד גדול, על מה זה אומר לפתח מודל בסיס בתחום המדיקל ועל ההזדמנויות האדירות שיש בשילוב AI בתחום הרפואה.
בפרק הזה היה לי העונג לארח את נעמי קן כורם, Senior Researcher, בחברת לייטריקס לשיחה מרתקת על מודלי AI בתחום הוידאו. בפרק דברנו על הדרך שלייטריקס עברה בשנים האחרונות ואיך לצד האפליקציות שהם משחררים לצרכנים, הם התחילו גם לשחרר מודלי AI בקוד פתוח ולהנגיש את הטכנלוגיה שלהם. דברנו על איך זה לאמן מודלי בסיס בתחום הוידאו, על היתרונות שלהם לעומת המתחרים וגם על העתיד של התחום. כל מי שרוצה ללמוד עוד על הנושא וגם להתנסות בעצמו, נעמי תעביר סדנא מאוד מעניינת ופרקטית בכנס GenML שלנו בה תוכלו ללמוד איך להתאים מודלי וידאו בדיוק לצרכים שלהם. כל הפרטים כאן: https://machinelearning.co.il/lp-events/genml-2025/
אני שמח לשתף פעולה בפעם השישית עם Nebius Academy (לשעבר YDATA) ולספר לכם על תוכנית ההכשרה שלהם לתחומים ה-AI. בפרק הזה ראיינתי את כרמל, מנהל התוכנית, ואת נועה, חוקרת בתחום ומרצה בתוכנית. בפרק הזה דברנו על הכשרות בתחום ה-AI ועל הקורס של Nebius Academy. שוחחנו על איך הסילבוס התעדכן עם כל ההתפתחויות בתחום, על ההכנה של הבוגרים לשוק העבודה, הפרויקט גמר ועוד הרבה נושאים נוספים. המחזור הבא מתחיל ממש בקרוב והמטרה של הפרק הוא להסביר לכם קצת יותר על התוכנית ולמי היא מתאימה. בינתיים מי שרוצה להירשם יכול להשתמש בקוד ההנחה שלנו ברישום: NebiusDS2025 לינק לפרטים נוספים: https://www.aifordatascience.nebius.com/?utm_medium=prt&utm_campaign=mdli_isr_y-data_25 לינק להרשמה: https://www.aifordatascience.nebius.com/application?utm_medium=prt&utm_campaign=mdli_isr_y-data_25
בפרק הזה דברתי עם מיכה ואוהד מאורקל ובו דברנו על הפעילות שלהם בתחום הדיפנס. השיחה הייתה מרתקת במיוחד כי דברנו על איך גורמים ליכולות AI לרוץ באופן חלק בשדה הקרב. החל מ-GPU טקטי ועד לדאטה סנטרים ניידים שיכולים להיפרש בשטח. בפרק דברנו על שלל הפתרונות שיש להם בעולם התוכן הזה וגם על העמידה האיתנה של אורקל העולמית ומהקומית לצד ישראל. לינק לכנס: https://machinelearning.co.il/lp-events/defenseml-en-25/
I had a great time with Krishna Rangasayee, Founder & CEO of SiMa.ai, diving into AI at the edge, defense-grade requirements, and building products people actually use. We unpacked why “efficiency per watt” matters more than headline benchmarks, and how to make multimodal workloads (vision, language, sensor fusion) run in real time on low power. Krishna shared a builder’s view of the stack - toolchains, quantization, compilation, and observability - so teams can ship updates without breaking latency budgets. We also explored defense applications: on-device processing for privacy and resiliency, deterministic behavior, and long hardware lifecycles. If you care about taking AI out of the lab and into the world, this one’s for you. Sima.ai is going to present their work at the DefenseML 2025 conference: https://machinelearning.co.il/lp-events/defenseml-en-25/
בפרק הזה היה לי העונג לארח את טל פיאלקוב שהוא VP AI Cyber בחברת Dream. את טל אני מכיר שנים רבות והוא עסק לא מעט בשילוב של עולמות הסייבר וה-AI. בפרק הזה דברנו על איך בונים באמצעות AI מוצרי סייבר מדור חדש ואיך אפשר לרתום מודלים מתקדמים כדי להגן על מדינות ממתקפות סייבר. טל הולך לדבר באירוע DefenseML שלנו בדיוק על הנושאים האלה. לינק לכנס: https://machinelearning.co.il/lp-events/defenseml-en-25/
פרק חדש בפודקאסט והפעם פרק מיוחד על אחזור מידע סמנטי בעברית ועל התחרות של מפא"ת בתחום. בפרק ראיינתי את טל ואמיר ממפא"ת ודיברנו על תחרות הדאטה החדשה שנפתחה ממש בימים האחרונים. התחרות עוסקת באתגר מאוד מיוחד: היכולת לאחזר מידע רלוונטי מטקסטים בעברית. בפרק דברנו על התחום עצמו, על למה זו עדיין בעיה לא פתורה בעברית (וגם באנגלית), על מודלים נפוצים בתחום ועל מי יכול לקחת חלק בתחרות. לינק לתחרות: https://www.codabench.org/competitions/9950/
חגי חוזר אלינו בפעם השנייה והפעם בתפקיד חדש כ-SVP AI Inference בחברת Cerebras Systems. למי שלא מכיר, חברת Cerebras היא בין המתחרות הכי גדולות של Nvidia והיא מפתחת שבבים שמתאימים גם לאימון מודלים וגם להרצה שלהם. הם בנו כמה מחשבי על ברחבי העולם וגם Perplexity ומיסטרל בחרו בחומרה שלהם כדי להריץ את המודלים שלהם. בשיחה דברנו על ההבדלים בינם לבין המתחרות, איך חומרה יכולה להשפיע קצב ג'ינרוט הטוקנים, על הרצה של מודלים בפרודקשיין וגם על כל תחום ה-Inference.
הפרק הזה הוא בשיתוף Sima.ai והיה לי העונג לראיין את הארי קרוגר, Head of Sales and President Automotive בחברה. לחברת Sima.ai יש באמת סיפור מרתק: הם קמו לפני למעלה מ-5 שנים וגייסו כ270 מיליון דולר כדי לפתח שבבים שמאפשרים למודלי AI לרוץ ביעלות על חומרת קצה. בשיחה המרתקת עם הארי דברנו על תהליך יצור השבבים (הם הצליחו להפתיע אפילו את TSMC), על מה זה בכלל אומר להריץ מודלים על הקצה ולמה זה כל כך חשוב, על אילו אפשרויות חדשות נפתחות ברגע שיש שבבים חזקים מספיק וכמובן, איך לא, על Inference ועל החשיבות של התחום כולו.
ראיון שקיימתי עם רן טסלר, Director of Solutions Architecture בחברת AWS על כל הפעילות שלהם בתחום ה-AI באופן כללי וספציפית על המאמצים שלהם בעולמות ה-GenAI. דברנו על הדרך שAWS עברה בשנים האחרונות ובאילו מוצרים הם הכניסו את יכולות ה-AI השונות שפותחו באמזון. דברנו גם על פלטפורמת בדרוק שלהם ובכלל על כל הכלים שיש לחברות וארגונים כדי לבנות שירותי GenAI שונים.
קשה להתעלם מהשנה האחרונה של אורקל. החל מכך שחברת OpenAI בחרה בחומרה שלהם להריץ את המודלים שלה ועד לתהליך בניית מחשב העל הגדול ביותר בעולם. בפרק המיוחד הזה עם דני ווינר, Director Cloud Solutions בחברת אורקל, ניסתי להבין לעומק איך אורקל פועלת בתחום ה-AI ומה האסטרטגיה שלה בתחום. דברנו על מה הבידול שלהם בעולם שכולם "מוכרים GPU", על המוצרים שלהם לאנשי דאטה וגם על מה התוכניות שלהם לעתיד. והכי חשוב: הבנתי לעומק שוב את החשיבות של תחום ה-Inference ועד כמה זה יהיה שם המשחק ב-2025. (הפרק הוקלט לפני כנס GenML)
ניהלתי שיחה מרתקת עם גיא פייגנבלט מאיביי על העולם המורכב והמפתיע של בינה מלאכותית במסחר אלקטרוני. צללנו לאופן שבו איביי מנצלת בינה מלאכותית גנרטיבית ומודלי שפה גדולים לכל דבר - החל מאוטומציה של תיאורי מוצרים (תארו לעצמכם העלאת תמונה וקבלת מודעה מוכנה!) ועד לבניית עוזר קניות. חקרנו גם את האתגרים הייחודיים ביישום טכנולוגיות אלה בשוק עם מיליארדי פריטים ומיליוני מוכרים, במיוחד בכל הנוגע למגוון האתגרים וההזיות של מודלים. אם מעניין אתכם היישום המעשי של בינה מלאכותית בקנה מידה גדול, הפרק הזה מציע נקודת מבט מעניינת (הפרק הוקלט לפני כנס GenML).
השבוע היה לי הכבוד לארח את גל צ'צ'יק, Sr. Director of AI Research at NVIDIA ופרופסור באוניברסיטת בר-אילן. ניהלנו שיחה מעולה ודיברנו על **NVIDIA כחברת מחקר**. תופתעו לגלות על כל המחקר המרתק שנעשה ב-NVIDIA ואיך הם אפילו משתמשים בלמידת חיזוק (RL) כדי לשפר את ביצועי מרכזי הנתונים שלהם. זהו פרק מצוין לכל מי שרוצה לקבל נקודת מבט ייחודית זו על NVIDIA.
הפרק הזה הוא עם עידו פרחי, Senior Data Scientist בחברת אינטואיט. הפרק עם עידו היה מרתק במיוחד כי הוא היה גם קצת שונה. דברנו לא רק על איך בונים מוצרי GenAI בסקייל עצום, אלא גם איך מאבטחים אותם. דברנו על המחקר שהם עושים בתחום הסייבר של מודלי GenAI ואיך חברות יכולות לבנות אפליקציות בתחום, אבל כאלה שיהיו בטוחות יותר. פרק חובה לכל מי שמתכנן להעלות לפרודקשיין פיתוח בעולמות ה-GenAI. על כל זה ועוד ידבר עידו גם בכנס GenML שלנו בחודש הבא 🙂
הרשמו לכנס שלנו: https://machinelearning.co.il/lp-events/genml-2024/ הפרק הוא עם מושיקו אברהם, Customer Engineer בגוגל קלאוד - פודקאסט Hidden Layers. דברנו על מודלי השפה שלהם (ג'ימיני) ועל הייחודיות שלהם לעומת המתחרים, דברנו על ה-TPUים של גוגל (ה-GPU שגוגל פיתחה מאפס) ועל חברות שבנו מודלים מעניינים על הענן שלהם (פרגנו ל AI21 ולייטריקס). בינתיים מוזמנים לשמוע את הפרקים הקודמים: ספוטיפי: https://t.co/1LdjK5Dgix יוטיוב: https://youtu.be/ILzz6Ky4358?si=eh6b2F_oetUBfohg
הפרק הוא עם רונן דר, המייסד וה-CTO של חברת RunAI שעוזרת לחברות להשתמש בצורה טובה יותר במשאבי ה-GPU שיש להם. בפרק הזה דברנו על הדרך שבה המוצר שלהם עובד, על איך מהפכת ה-GenAI השפיעה עליהם, מה קורה מאחורי הקלעים במשבר השבבים וגם שאלת ה-700 מיליון הדולר: האם חברת Nvidia אכן רוכשת אותם? מי שרוצה לשמוע עוד את רונן, מוזמן להירשם לכנס שלנו, GenML שיתקיים ב10.12.2024 בבית ציוני אמריקה. לינק: https://machinelearning.co.il/lp-events/genml-2024 כתבה על הרכישה של RunAI על ידי Nvidia כאן: https://machinelearning.co.il/23621/nvidia-runai/
You can watch the full interview here: https://machinelearning.co.il/23291/george-mathew-insight-partners In this insightful episode of Hidden Layers, we sit down with George Mathew, Managing Director at Insight Partners, to dive into the evolving world of AI investment. George shares his unique insights on generative AI, the impact of AI technologies on various industries, and what the future holds for startups in this dynamic space. Whether you're an investor, entrepreneur, or simply intrigued by the potential of artificial intelligence, this conversation sheds light on the opportunities and challenges that lie ahead. Join us for a deep dive into the hidden layers of AI investment and innovation.
זה פרק ראשון ביוזמה חדשה בשם Hidden layers שאני מתחיל עכשיו כפילוט. ביוזמה הזו אני אראיין אנשי מתחום הדאטה וה-AI. בפרק הראשון אירחתי את חגי לופסקו - VP Engineering בחברת MosaicML. חברת MosaicML היא בין החלוצות בתחום ונמכרה ללפני מספר חודשים לחברת Databricks בסכום מטורף של 1.3 מליארד דולר. דברנו על זה, על התחום כולו ואפילו מה התחזיות שלו לעתיד.
