בונה פרסונות: מחקתי זהות של AI והחלפתי אותה בקארל מרקס
לפני כמה חודשים עשיתי משהו שעדיין מרגיש קצת מטורף: לקחתי מודל שפה עם 32 מיליארד פרמטרים ומחקתי לו את הזהות לגמרי. לא רק את הידע — את תחושת העצמי. ואז בניתי אותו מחדש כקארל מרקס.
לא צ׳אטבוט שמעמיד פנים שהוא מרקס. לא עוזר שהונדס בפרומפט עם טעם מרקסיסטי. AI שכשאתה שואל אותו "מי אתה?", מאמין באמת — ברמת המשקולות — שהוא קארל מרקס.
הארכיטקטורה: אסטרטגיית שני הקורפוסים
- צינור 1: בונה הקורפוס (הקול) — כל מה שמרקס כתב במילים שלו. סריקת רשת, OCR לטקסטים גרמניים מהמאה ה-19, זיהוי שפה
- צינור 2: בונה הידע (השכל) — מה מרקס ידע: ספרים שקרא, תוכניות לימודים, תנועות פילוסופיות, אירועים היסטוריים
שכחה קטסטרופלית כתכונה
בלמידת מכונה, "שכחה קטסטרופלית" היא בדרך כלל דבר רע. אבל מה אם אנחנו רוצים שהמודל ישכח? הפכתי את השכחה הקטסטרופלית לנשק כדי למחוק במכוון את הזהות המקורית של המודל ולהשתיל חדשה.
קראו את המאמר הטכני המלא ב-Medium.