מעבר מ"איחוד נתונים" ל"ארכיטקטורה נATIVE": סנסטיים משיקה את ארכיטקטורת NEO, ומשנה מחדש את גבולות הביצועים של מודלים מולטימודליים.

סנסטיים שחררה רשמית ופתחה את הארכיטקטורה החדשה שלה של מודלים מולטימודליים, נאו, שפותחה בשיתוף עם מעבדת ה-S-Lab של אוניברסיטת נניאנג הטכנית, ויצרה את היסודות לארכיטקטורת הדור הבא של המודל מולטימודלי סנסנובה.
כארכיטקטורת מולטימודלית נ/native (VLM) הראשונה בתעשייה שזוכה להפצה, נאו פורצת את עבותות הפרדיגמה המודולרית המסורתית כבר ברמה היסודית, ומייצרת באופן חדשני את הרעיון של 'הולדת מוטבעת למולטימודליות'. באמצעות אינטגרציה מעמיקה של מספר מצבי קליטה ברמת הליבה של הארכיטקטורה, היא מגיעה לשבירה כוללת בביצועים, ביעילות ובאוניברסליות, מגדירה מחדש את גבולות הביצוע של מודלים מולטימודליים, ומסמנת את כניסתה הרשמית של טכנולוגיית הבינה המלאכותית המולטימודלית לתקופה חדשה של 'ארכיטקטורה מוטבעת'.
שבירה של צירים, נטישה של גישת 'התיקון', אימוץ של גישת 'המוטבע'
כרגע, המודלים הרב-מודליים המרכזיים בתעשייה עוקבים בעיקר אחר הפרדיגמה המודולרית של "מקודד חזותי+מקרין+מודל שפה גדול". שיטה זו של הרחבה המבוססת על מודל שפה גדול (LLM) מאפשרת תאימות עם קלט תמונה, אך ביסודו של דבר היא עדיין מתמקדת בשפה, והאיחוד של תמונות ושפה נשאר ברמת הנתונים בלבד. העיצוב הזה מסוג "הרכבה" לא רק שאינו יעיל למידה, אלא גם מגביל את היכולת של המודל לעבד סצנות רב-מודליות מורכבות, כגון לכידת פרטים בתמונה או הבנת מבנים מרחבית מורכבים. אדריכלות SenseTime NEO נוצרה כדי להתמודד עם הבעיה הזו. כבר בחצי השני של 2024, חברת Shangtang הייתה הראשונה שפרצה טכנולוגיית אימון איחוד רב-מודלית מקורית בסין, וזכתה בדירוג השפה SuperCLUE ובאימות הרב-מודלי OpenCompass באמצעות מודל יחיד; על בסיס טכנולוגיה ליבה זו, פיתחה את Nissin SenseNova 6.0 כדי להשיג יכולת מובילה בהסקה רב-מודלית. לאחר מכן, ביולי 2025, שוחרר Nichiron SenseNova 6.5, אשר השיג איחוד מוקדם ברמת המקודד, הכפיל פי שלושה את היעילות הכלכלית של המודלים הרב-מודליים, והיה הראשון בסין שפתח הסקה מסחרית באיכות גבוהה של טקסט וגרפיקה שמתערבבים זה בזה. SenseTime עשתה צעד נוסף – ונטשה לחלוטין את המבנה המודולרי המסורתית, ויצאה מהיסודות, תוך יצירה של האדריכלות המקורית NEO, שתוכננה מראש.
שלושה חידושים מרכזיים מושגים איחוד מעמיק של חזון ושפה
ארכיטקטורת NEO מבוססת על המושגים המרכזיים של יעילות מקסימלית ואינטגרציה מעמיקה, ודרך חידושים בסיסיים בשלושה ממדים מרכזיים: מנגנון הקשבה, קידוד מיקומי והצמדה סמנטית, המודל מקבל באופן טבעי את היכולת להתמודד עם חזון ושפה באיחוד אחד.
הטמעת פצ'ים נATIVE: עוזבת את מפענחי התמונות הדיסקרטיים ומביאה ליצירת מיפוי רציף מפיקסלים למילים מלמטה למעלה דרך שכבת הטמעת פצ'ים ייחודית (PEL). העיצוב הזה מסוגל לתפוס פרטים בתמונה בצורה עדינה יותר, ומבטל ביסודו את הפקק במודליזציה של תמונות במודלים הנפוצים.
רוֹפֶה נָטִיבִי: מפריד באופן חדשני את הקצאת התדרים המרחבית-זמנית תלת־ממדית, תוך שימוש בתדרים גבוהים בממד הוויזואלי ובתדרים נמוכים בממד הטקסטואלי, בהתאמה מושלמת למבנה הטבעי של שני המודאליטאות. זה לא רק מאפשר ל-NEO לתפוס במדויק את המבנה המרחבי של התמונות, אלא גם פותח את האפשרות להרחבה חלקה לתרחישים מורכבים כגון עיבוד וידאו ומודלינג בין פריימים.
תשומת לב מרובה ראשים נָטִיבִית: כתגובה לתכונותיה של כל מודאליטה, יישם NEO תשומת לב אוטורגרסיבית לטוקנים טקסטואליים ותשומת לב דו־כיוונית לטוקנים ויזואליים במסגרת מאוחדת. העיצוב הזה מגביר במידה רבה את הניצול של הקורלציה המבנית המרחבית במודל, ובכך תומך טוב יותר בהבנה ושיקול דעת מורכבים של גרפיקה וטקסט מעורבבים.
בנוסף, עם אסטרטגיית האימון בשני שלבים המبتكرة של Pre Buffer&Post LLM, ה-NEO מסוגל לספוג את יכולת ההיסק השפתית המלאה של ה-LLM המקורי, תוך בניית יכולת תפיסה חזותית חזקה מאפס, ופתרון מלא של בעיית פגיעה בכישורים השפתיים באימון חוצץ טרדיционלי.
ביצועים נבדקים: עשירית מהנתונים משמשת להערכה של ביצועי דגל
מנוע על ידי חדשנות ארכיטקטונית, נאו הפגין יעילות נתונים מרהיבה ויתרונות ביצועים: יעילות נתונים גבוהה במיוחד: עם רק עשירית מהנפח של הנתונים של מודלים בעלי ביצועים שווים בתעשייה (390 מיליון דוגמאות של תמונות וטקסט), נאו מסוגל לפתח יכולות תפיסה חזותית ברמה גבוהה. ללא התבססות על כמויות עצומות של נתונים ומבני קידוד חזותיים נוספים, הארכיטקטורה שלו הקצרה יכולה להתחרות במודלים פלטפורמיים מובילים כמו Qwen2-VL ו-InternVL3 במגוון משימות הבנת חזות. ביצועים מעולים ומורכבים: במגוון הערכות ציבוריות מוסמכות כגון MMMU, MMB, MMStar, SEED-I, POPE וכו', הארכיטקטורה של נאו השיגה ציונים גבוהים, מה שמראה על ביצועים מקיפים שמעל ל-VLM-ים ילידיים אחרים, ומביאה באמת את 'הדיוק ללא אובדן' של ארכיטקטורה ילידית. יעילות עלות-תפוקה מירבית: במיוחד בטווח הפרמטרים של 0.6B–8B, לנאו יש יתרונות משמעותיים בהצבה בקצוות. הוא לא רק מצליח בקפיצה כפולה באחוזי הדיוק וביעילות, אלא גם מפחית באופן משמעותי את עלויות ההסקה, ומדחף את 'יעילות העלות-תפוקה' של תפיסה חזותית רב-ממדית ל- פתוח. בניית שיתוף פעולה
בניית ארכיטקטורת התשתית הבאה של בינה מלאכותית היא ה"שלד" של המודל, ורק עם שלד איתן ניתן לתמוך בעתיד של טכנולוגיות מולטימודליות.
עיצוב הפיווזיה המוקדמת של ארכיטקטורת NEO תומך ברזולוציות שרירותיות ובקבצי תמונה ארוכים, ומתרחב ללא הפרעה לתחומים מתקדמים כגון וידאו ובינה גופנית, ומאפשר פיווזיה אמיתית מהבסיס עד לקצה ומסוף לסוף. מן הפרספקטיבה של היישום, העיצוב האינטגרלי "הטבעי" מסוף לסוף מספק תמיכה טכנית איתנה ליישומים במגוון סצנות, כגון אינטראקציה גופנית של רובוטים, תגובות מולטימודליות בטרמינלים חכמים, הבנת וידאו, אינטראקציה תלת־ממדית ובינה גופנית.
בשלב זה, סנסטיים פתחה רשמית את שני מודלים של ספציפיקציה מבוססי הארכיטקטורה נאו – 2B ו-9B – כדי לקדם חדשנות ויישום בקהילה הפתוחה בארכיטקטורת מולטימודלית מקורית. טכנולוגיית סנסטיים ציינה שהיא מחויבת לבנות את נאו למבנה תשתית בינה מלאכותית דור הבא, שניתן להרחיב אותו ולשפר את השימוש בו, באמצעות שיתוף פעולה בקוד פתוח ותפוקת יישומים, לקדם יישום תעשייתי רחב של טכנולוגיה מולטימודלית מקורית מהמעבדה, ולזרז את בניית הסטנדרטים לתעשייה של טכנולוגיה מולטימודלית מקורית דור הבא.