לפני התמונה הראשונה הדפדפן מוריד בערך 20 מגה־בייט: מודל של 4.6 מגה־בייט שמזהה את הנושא, ומנוע של 14.8 מגה־בייט שמריץ אותו. בגלישה סלולרית כדאי לדעת את זה מראש. זה קורה פעם אחת; אחר כך שניהם נטענים מהזיכרון של הדפדפן.
תמונה של כוס קפה על שולחן עץ, בגודל 600 × 400, ארכה בערך 5 שניות במחשב עם 4 ליבות בפעם הראשונה, כמעט 2 מהן לטעינת המודל, ובערך 3 שניות לכל תמונה אחרי זה. הכוס, הצלוחית והכפית יצאו שלמות, והשולחן נעלם. המעבר בין “שקוף”, “לבן” ו“צבע” אחר כך מהיר, כי המודל לא רץ שוב; רק הרקע מצויר מחדש.
מתי הגזירה יוצאת נקייה?
הורדת רקע לתמונה עובדת הכי טוב כשיש נושא אחד שבולט ממה שמאחוריו: מוצר על שולחן, כוס, אדם מול קיר חלק, עם קצת מרווח מסביב. המודל מדרג כל פיקסל מ“רקע” עד “נושא” ושומר את האובייקט הכי בולט, ולכן תמונה קבוצתית או רחוב עמוס נותנים תוצאה לא אחידה. הכי קשה כשהנושא והרקע באותם צבעים.
איפה הוא מתקשה?
בתקריבים ובשערות דקות. תקריב של פני חתול שממלא כמעט את כל המסגרת שמר על הפנים והאוזניים, אבל השפם שבולט מעבר לקו המתאר נחתך, והפרווה בשוליים יצאה חלקה יותר ממה שהיא. שיער פזור ותחרה מתנהגים אותו דבר. כשקצה יוצא לא טוב, תמונה אחרת עם רקע פשוט יותר עוזרת בדרך כלל יותר מכל דבר אחר.
שקוף, לבן או צבע?
“שקוף” נותן PNG, למצגות, לאתרים או להנחה על תמונה אחרת. “לבן” או צבע לבחירתכם נותנים JPG, שמתאים למודעות ביד 2, לחנויות אונליין ולטפסים שמבקשים רקע אחיד. ה־PNG יוצא גדול: תמונת הקפה, 442KB כ־PNG, הגיעה ל־540KB עם שקיפות.
איזה מודל זה?
U²-Net-p, רשת נוירונים קטנה שמוצאת את האובייקט המרכזי בתמונה. פרסמו אותה Qin ועמיתיו ב־2020 ברישיון Apache 2.0, שמתיר שימוש מסחרי. היא רצה ב־ONNX Runtime בתוך הדפדפן. בחרנו בה כי היא קטנה מספיק להורדה בדף אינטרנט, וזו גם הסיבה שהקצוות שלה רכים יותר מאלה של מודלים גדולים. הפיקסלים המקוריים לא משתנים, רק נוסף להם ערוץ שקיפות; נתוני EXIF לא מועתקים.