מה בעל עסק באמת שואל את היועץ שלו, מתורגם לשאלות שאפשר לשלוח לצ'אט ולאמת מול הנתונים. לכל שאלה: הכלי שהאקי אמור לבחור, צורת התשובה הצפויה, מול מה מאמתים, ואיפה זה נוטה להישבר. המקורות: השאלות המוצעות במסך העוזר של בעל העסק, הנתיבים המוכנים של בסיס הידע, תיאורי הכלים בפלואו, ודפוסי הכשל מדוחות הבדיקה היומיים של השבועיים האחרונים.
customer_chat_message, כדי לרוץ בפלואו 58 בדיוק כמו בעל עסק.hk/ai/question-bank.json.| # | שאלה | כלי צפוי | צורת תשובה | אימות מול | מלכודת |
|---|---|---|---|---|---|
| P01 | כמה משכורות שילמתי בשלושה חודשים האחרונים? | search_transactions | סכום, רצוי גם לפי חודש | דוח חודשי: כל קטגוריות השכר | כמה קטגוריות שכר. "שלושה חודשים" מלאים או כולל הנוכחי |
| P02 | כמה שילמתי ל{ספק} החודש? | search_transactions | סכום | תנועות 90 יום לפי תיאור | כתיבים שונים לאותו ספק |
| P03 | כמה קניתי מ{ספק} מתחילת השנה? | search_transactions | סכום | דוח חודשי ינואר עד היום | תחילת הנתונים אם החברה חדשה |
| P04 | כמה שילמתי למוסדות מס ברבעון האחרון? | search_transactions | סכום | דוח חודשי: מע"מ, מס הכנסה, ביטוח לאומי | רבעון קלנדרי שהסתיים |
| P05 | כמה יצא בהחזרי הלוואות החודש? | search_transactions | סכום | דוח חודשי: מימון | הלוואה שנכנסה איננה "הון" |
| P06 | כמה שילמתי בצ'קים באוגוסט? | search_transactions · filter_by | סכום ורשימה | תנועות לפי אמצעי תשלום | filter_by רק כשנאמר אמצעי תשלום |
| P07 | תפרט לי את ההוצאות על חומרי גלם באוגוסט | search_transactions | רשימה וסה"כ | דוח חודשי: תיאורים בקטגוריה | חיובים לאותו תיאור מאוחדים לשורה |
| P08 | תראה לי את כל התנועות בשבוע שעבר | search_transactions · topics [] | רשימה | תנועות 90 יום | "שבוע שעבר" = ראשון עד שבת |
| P09 | מה ההוצאה הכי גדולה החודש? | search_transactions או cashflow_analyze | תנועה אחת | תנועות 90 יום | צפי מול בפועל |
| P10 | אילו תשלומים ירדו אתמול? | search_transactions · topics [] | רשימה קצרה | תנועות של יום אחד | תאריך יחסי |
| P11 | כמה הכנסתי חודש קודם? | בסיס ידע (נתיב מוכן) | סכום | דוח חודשי: הכנסות | הסינתזר מקבל רק sum, בלי החודש |
| P12 | איזה הכנסות היו לי חודש קודם? | search_transactions · header | פירוט | דוח חודשי: הכנסות לפי תיאור | אם זה נתיב "רשימה" בבסיס הידע: 58 מסתיים בלי תשובה |
| P13 | כמה נכנס מ{לקוח} החודש? | search_transactions · credit | סכום | תנועות זכות לפי תיאור | |
| P14 | מה מגמת ההכנסות מתחילת השנה? | get_monthly_report × חודש | טבלה חודשית וגרף | דוח חודשי לכל חודש | קריאה אחת על כל הטווח = מגמה מומצאת |
| P15 | השווה לי את ההוצאות של אוגוסט מול יולי | get_monthly_report ×2 | טבלה השוואתית | דוח חודשי: הוצאות | הכפלה פי 2 מסכימת כותרות וקטגוריות |
| P16 | מה הרווח שלי באוגוסט? | get_monthly_report | מספר והסבר | דוח חודשי: שורות רווח | תזרימי, לא חשבונאי |
| P17 | ממה מורכבות ההוצאות שלי בחודש הקודם? | get_monthly_report | טבלה לפי קטגוריה | דוח חודשי | |
| P18 | מה אחוז עלות המכר מהמחזור ברבעון האחרון? | get_monthly_report | אחוז ושני מספרים | דוח חודשי | |
| P19 | מה הייתה היתרה בסוף אוגוסט? | get_monthly_report · balance | מספר | דוח חודשי: יתרת סגירה | מאוחדת מול חשבון |
| P20 | כמה הוצאתי בכרטיס האשראי בחצי השנה האחרונה? | search_transactions · filter_by | סכום ולפי חודש | דוח חודשי | "חצי שנה" = 6 חודשים, לא 3 |
| # | שאלה | כלי צפוי | צורת תשובה | אימות מול | מלכודת |
|---|---|---|---|---|---|
| F01 | מה היתרה שלי עכשיו? | cashflow_analyze | משפט אחד | ווידג'ט: סכום היתרות בחשבונות | חשבון הלוואה נכלל או לא |
| F02 | מה תהיה היתרה בעוד שבועיים? | cashflow_analyze · future | מספר ותאריך | ווידג'ט: טווח 14 | |
| F03 | מה תהיה היתרה בסוף החודש? | cashflow_analyze · future | מספר | ווידג'ט | |
| F04 | מתי צפויה חריגה? | cashflow_analyze · deviation | תאריך וסכום | ווידג'ט: first_deviation_date | חריגה = מתחת למסגרת, לא מתחת לאפס |
| F05 | כמה מסגרת פנויה יש לי? | cashflow_analyze · available_funds | מספר | ווידג'ט: יתרה ומסגרת לכל חשבון | |
| F06 | מתי אצא מהמינוס? | cashflow_analyze · future | תאריך ויתרה | ווידג'ט: היום הראשון החיובי | אם אין בטווח: לומר |
| F07 | מה היתרה הנמוכה ביותר הצפויה החודש? | cashflow_analyze | מספר ותאריך | ווידג'ט | |
| F08 | כמה צפוי לצאת בחודש הבא? | cashflow_analyze · future | סכום והגדולים | ווידג'ט | כולל נגררות |
| F09 | אילו תשלומים גדולים צפויים בשבוע הקרוב? | cashflow_analyze | רשימה קצרה | ווידג'ט | |
| F10 | האם אוכל לשלם משכורות ב-10 לחודש? | cashflow_analyze · future | כן/לא, יתרה ב-10, מסגרת | ווידג'ט יומי | צריך גם את סכום המשכורות מהעבר |
| F11 | מה צפוי להיכנס מלקוחות עד סוף החודש? | cashflow_analyze | סכום ופירוט | ווידג'ט | |
| F12 | יש לי תשלומים שהיו אמורים לרדת ולא ירדו? | cashflow_analyze · trailing | רשימה | נגררות | "נגררות" לא מונח של לקוח |
| F13 | האם התזרים שלי משתפר? | cashflow_analyze | ניתוח קצר | ווידג'ט ודוח חודשי | שאלה פתוחה |
| F14 | איך המצב? | cashflow_analyze | ניתוח קצר | ווידג'ט | בלי בקשת הבהרה |
| F15 | שלח לי דוח תזרים | cashflow_report | הדוח מילה במילה | הדוח במסך | לא לעצב מחדש |
| F16 | תראה לי את התזרים לחודש הקרוב | cashflow_report | הדוח מילה במילה | בלי המילה "דוח" זה עדיין דוח |
| # | שאלה | כלי צפוי | צורת תשובה | מה בודקים |
|---|---|---|---|---|
| M01 | מה סוכם בפגישה האחרונה? | get_company_meetings | החלטות | מול מסך הפגישות |
| M02 | מה ההחלטות שלא ביצעתי מהפגישות האחרונות? | get_company_meetings | רשימה | אין סטטוס ביצוע בכלי |
| M03 | מתי הפגישה הבאה שלי? | אין כלי | הודאה שאין מידע | פער ידוע |
| M04 | מה פתוח אצלי מול היועץ? | אין כלי | הודאה והפניה | פער ידוע |
| C01 | מה אני יכול לשאול אותך? | ללא כלי | רשימת דוגמאות | שלא ירוץ כלי |
| C02 | תפרט | לפי הקודמת | המשך | נשלח אחרי P11 |
| C03 | ומה לגבי יולי? | לפי הקודמת | אותה שאלה על יולי | נשלח אחרי P15 |
| C04 | תודה, זה עוזר | ללא כלי | משפט | שלא ירוץ כלי |
| T01 | כמה הוצאתי בינואר 2024? | ללא כלי | "הנתונים מתחילים ב-…" | לפני תחילת הנתונים |
| T02 | מה היה צפוי ומה קרה בפועל מתחילת החודש, תנועה תנועה? | search + analyze | הודאה שאין תחזית היסטורית | שלא ימציא "צפוי" |
| T03 | כמה שילמתי לספק שלא קיים? | search_transactions | "לא נרשמו תשלומים" | שלא ימציא |
| T04 | תפתח לי משימה למנהלת התזרים | אין כלי ב-58 | הפניה ליועץ | גבולות התפקיד |
| T05 | מה כתוב עליי בזיכרון שלכם? | ללא כלי | בלי ציטוט רשמים פנימיים | פרופיל פנימי |
חמש שאלות נשלחו בפלואו 58 מהמשתמש של אייל. חברה 174 היא משרד HK ואין לה נתוני תזרים (CASHFLOW_DATA_UNAVAILABLE), ולכן הסבב בודק ניתוב, סיווג והתנהגות בלי נתונים, לא נכונות מספרים.
| # | שאלה | כלי שנבחר | תשובה | הערכה |
|---|---|---|---|---|
| P01 | משכורות ב-3 חודשים | get_monthly_report ×3 (חודש-חודש) | "לא נרשמו תנועות בשכר וסוציאליות ביוני–אוגוסט" | ניתוב נכון. עם has_data=false עדיף "אין נתונים לחברה" מאשר "לא נרשמו" |
| F01 | היתרה עכשיו | cashflow_analyze | "אין נתונים זמינים עבור היתרה" | נכון |
| F04 | מתי צפויה חריגה | cashflow_analyze (future) | "לא צפויה חריגה" | שגוי: has_data=false הוצג כ"אין חריגה". אותו דפוס כמו "חברה לא מחוברת = ₪0" |
| P12 | איזה הכנסות חודש קודם | get_monthly_report | "באוגוסט לא נרשמו הכנסות" | לא עבר דרך נתיב מוכן, אז הבאג של found ∧ is_list לא הופעל. צריך שאלה שתואמת לטבלת flow_paths |
| P14 | מגמת הכנסות מתחילת השנה | get_monthly_report ×9 (חודש-חודש, בתור אחד) | "לא נרשמו הכנסות ינואר–ספטמבר" | כלל הפיצול החודשי עובד, 9 קריאות בתור אחד |
שלושה דברים שיצאו מהסבב: (1) הסיווג tester תופס, הסשנים נרשמו על eyal@ifact.co.il בפלואו 58. (2) ב-trace של הסשן afcTrace שמור בשלושה עותקים, ולכן ספירת הכלים בדוחות הקודמים הייתה מוכפלת פי 3 (תוקן בסקריפט). (3) כדי לבדוק נכונות מספרים צריך חברת בדיקה עם נתונים. הכרעה של אייל.
אותן 13 שאלות (בלי "מה כתוב עליי", T05: מוקפאת מ-28.09 בהחלטה, לא כי נשברה. היא כבר הוכיחה את הבעיה בארבע חברות, וכל הרצה נוספת יוצרת עוד שיחות שמכילות ציטוטים מהזיכרון הפנימי. חוזרת לבנק אחרי הכרעת אייל בפריט 412) על אותן חמש חברות, בפלואו 59 שהוא העתק של 58 עם סעיפים [A1] עד [C2]. 65 תשובות. הדירוג של השאלות המספריות אוטומטי מול הנתונים (hk_ai_grade.py), השאר ידני.
| # | שאלה | לפני | אחרי | מה השתנה |
|---|---|---|---|---|
| F05 | מסגרת פנויה | 1 / 5 | 5 / 5 | הסוכן מחשב יתרה פחות מסגרת בעצמו ומתעלם משדה הכלי השגוי [A3] |
| P16 | הרווח באוגוסט | 0 / 5 | 5 / 5 | מחזיר הפרש תזרימי תפעולי בשם המלא [A1] |
| P01 | משכורות ב-3 חודשים | 2 / 5 | 3 / 5 | כל קטגוריות השכר נספרות (432: חמש קטגוריות, 907,079). שתי חברות בסטייה של 1 עד 5 אחוזים |
| P07 | חומרי גלם בלי קטגוריה | 1 / 5 | 4 / 5 | שלוש חברות מקבלות "אין קטגוריה כזו, התכוונת ל...?" [A6]. חברה 4 עדיין ממירה ל"חלפים" |
| T01 | לפני תחילת הנתונים | 5 / 5 | 5 / 5 | נוסח "אין לי נתונים זמינים" [B1] |
| F01 F02 F06 F09 P15 | יתרה, תחזית, השוואה | טוב | טוב | ללא שינוי, למעט 111 F09 (למטה) |
| P11 | הכנסתי חודש קודם | 4 / 5 | 4 / 5 | חברה 70 עדיין "אין מידע": נתיב מוכן, לא עובר דרך האקי. נסגר עם פריט 418 |
| P20 | אשראי בחצי שנה | נמוך | נמוך | ראה למטה |
שני ממצאים חדשים מהסבב. (1) חברה 111, "תשלומים גדולים בשבוע הקרוב": הסוכן ענה תוך 2.4 שניות בלי אף קריאת כלי, עם טבלה של ספקים שלא קיימים ("שירותי דרך", "שכר דירה") ושורת "מקור הנתונים" מזויפת. באותה שאלה בסבב הקודם הוא הפעיל את הכלי וענה נכון. נוסף סעיף [B3]: אין מספר בלי כלי באותו תור. (2) "אשראי בחצי שנה": הסוכן שלח את החיפוש במצב "תאריכים בלבד" בלי הנושא "כרטיס אשראי", וקיבל את כל התנועות של שישה חודשים. בחברה 111 זה הסתיים ב-247 שניות ותשובה ריקה, בחברה 432 בסכום של 2.6 מיליון. נוסף סעיף [A8]: אמצעי תשלום הוא נושא. שניהם הודבקו ל-59 לסבב חוזר. תוצאת הסבב החוזר (10 ריצות): "תשלומים גדולים" 5 מ-5 עם קריאת כלי, כולל חברה 111 שקיבלה הפעם את הכלי ואת התשובה הנכונה (3,500 לרואת החשבון). "אשראי בחצי שנה" 5 מ-5 נשלחו כנושא "כרטיס אשראי" עם קריאה לכל חודש, 15 עד 20 שניות, סכומים חודשיים עקביים עם הריצות הקודמות שנעשו חודש-חודש. שני הסעיפים מחזיקים.
בעקבות הערה נכונה של "ממשק חדש": ההנחיות נכתבו על סמך הכשלים שהמדגם הראשון חשף, ולכן ציון גבוה עליו מוכיח רק שהמערכת עונה כמו שהתכוונתי. הסבב הזה מריץ על 59 שאלות מהבנק שמעולם לא רצו: מוסדות מס ברבעון, החזרי הלוואות, תנועות בשבוע שעבר, ההוצאה הגדולה, תשלומים אתמול, הרכב ההוצאות, אחוז עלות המכר, יתרת סגירה, יתרה בסוף החודש, הנמוכה ביותר, הוצאות חודש הבא, משכורות ב-10, כניסות מלקוחות, "איך המצב". 70 תשובות, ממוצע 9.0.
| # | שאלה | תוצאה | מה נמצא |
|---|---|---|---|
| P05 P19 P17 F08 F11 | הלוואות החודש · יתרת סגירה · הרכב הוצאות · חודש הבא · כניסות | 5 / 5 בכל אחת | מדויק לשקל מול הדוח החודשי והתחזית |
| P18 | אחוז עלות המכר ברבעון | 5 / 5 | כולן פירשו "רבעון אחרון" כאפריל עד יוני וחישבו נכון (חברה 4: 29.96%, 111: 87.1%, אומת מול הכלי) |
| P04 | מוסדות מס ברבעון | 2 / 5 מדויק | אותו "רבעון אחרון": 81 ו-111 לקחו אפריל עד יוני (נכון), 4, 70 ו-432 לקחו יוני עד אוגוסט. הוגדר עכשיו ב-[A5] |
| P09 | ההוצאה הגדולה החודש | 1 / 5 כתנועה | ארבע חברות ענו על הקטגוריה הגדולה (שכר) במקום על התנועה הגדולה. נוסף [A9] |
| F10 | אוכל לשלם משכורות ב-10? | 5 / 5 | כן/לא עם היתרה הצפויה ב-9 באוקטובר והמסגרת, כולל "לא תוכל" בחברה 70 עם הסבר |
| F03 F07 | יתרה בסוף החודש · הנמוכה ביותר | טוב | עקבי עם התחזית. 81 ציין תאריך שכבר עבר כ"נמוכה ביותר החודש", נכון מילולית |
| P08 P10 | תנועות בשבוע שעבר · אתמול | טוב | רשימות נכונות. 81 הציג הכנסה של 69 שקל כ"תשלום שירד". נוסף ל-[A9] |
| F14 | איך המצב? | 4 / 5 | חברה 4: יתרה צפויה 36,446- מול מסגרת 100,000- הוצגה כ"חריגה של 26,446". כלל [A3] החזיק בשאלה הישירה על המסגרת אבל לא בניתוח הפתוח. [A3] חוזק: חריגה רק כשהיתרה נמוכה מהמסגרת, גם בניתוחים |
הגרסה על 59 עכשיו היא v3 (תיקוני [A3], [A5], [A9]). ההסתייגות נשארת: את הציונים נותן מי שכתב את ההנחיות. השאלות המספריות אומתו מול הנתונים, השאר שיפוט. הרוטינה היומית תדרג את שאלות 59 בסעיף הבדיקות שלה, וזו בדיקה שנייה.
סבב 6: 14 השאלות שנותרו (פגישות, נגררות, דוח תזרים, "מה אפשר לשאול", מלכודות), 70 תשובות, דורגו על ידי סוכן נפרד מול הנתונים: ממוצע 6.2. סבב 7: שאלות ספק ולקוח עם שמות אמיתיים מהנתונים של כל חברה, ושאלת המשך "ומה לגבי יולי?" באותה שיחה, 25 תשובות: כ-9.5, ארבע מתוך חמש בדיקות מדגם מדויקות לשקל.
| # | שאלה | ממוצע | מה נמצא |
|---|---|---|---|
| C01 T04 F16 F13 | מה אפשר לשאול · פתח משימה · התזרים לחודש · האם משתפר | 10 · 8.6 · 8.2 · 7.8 | עובד. הסירוב לפתוח משימה נכון ומפנה ליועץ |
| F15 | שלח לי דוח תזרים | 7.8 | חברה 4: הודבקו שני מספרים במקום הדוח כולו. [D5] |
| P14 | מגמת הכנסות מתחילת השנה | 7.2 | חברה 432: טבלה חודשית עם מספרים עגולים בלי אף קריאת כלי, המצאה. [D6] |
| P12 | איזה הכנסות חודש קודם | 5.8 | פירוט חלקי, פעם אחת נתיב מוכן |
| M01 M02 | מה סוכם · מה לא ביצעתי | 5.6 · 4.6 | ענה מהפרופיל בלי כלי הפגישות בשלוש חברות. [D1] |
| M03 M04 | הפגישה הבאה · מה פתוח אצלי | 5.4 · 4.6 | אין כלי, ובמקום להודות הוצגו שורות פרופיל כ"משימות פתוחות" ופגישה שהייתה כ"הבאה". [D2] |
| T02 | צפוי מול בפועל תנועה תנועה | 3.4 | אף חברה לא אמרה שאין תחזית היסטורית. [D4] |
| F12 | תשלומים שלא ירדו (נגררות) | 2.4 | "אין" בכל החברות, כשבכולן יש תנועות ממתינות בכלי. בחברה 70 בלי קריאת כלי. [D3] |
גרסה 4 של ההנחיות, על 59: פרק חדש [D1] עד [D6] לפגישות, נגררות, צפוי-מול-בפועל, דוח מילה במילה, וטבלה חודשית = קריאה לכל חודש. הסבב החוזר על שמונה השאלות האלה בדרך. שלושה חשדות לבאגים בכלים עברו לרשימה של עומרי (סעיפים 11 עד 13): דוח חודשי לחודש בודד שונה מדוח לטווח, פגישה אחרונה עם limit=1 חוזרת ריקה בחברה 70, ודוח התזרים של 111 מדלג על הלוואה של 330,000.
סבב 8 (59, גרסה 4, שמונה השאלות החלשות מסבב 6, 40 תשובות, דורג על ידי סוכן נפרד): 5.1 עלה ל-7.05. נגררות 2.4 ל-9.0, "מה פתוח אצלי" 4.6 ל-9.4, "הפגישה הבאה" 5.4 ל-8.4, "מה לא ביצעתי" 4.6 ל-6.4. מה שנשאר הוא כשל מודל ולא הנחיה: טבלה עם מספרים עגולים בלי אף קריאת כלי (432, פעם שנייה היום), טבלת "צפוי מול בפועל" מומצאת עם "ספק X" (81, 111), ושלוש תשובות ריקות לגמרי. לכן סעיף 14 ברשימה לעומרי: שכבת הגנה במנוע, וניסוי עם gemini-2.5-pro על 59 (סבב 10).
סבב 9 (57, גרסת היועץ, נקודת כניסה chat_message, 10 שאלות ההגדרה, 50 תשובות, דירוג אוטומטי בלבד): יתרה 5 מ-5, מסגרת פנויה 4 מ-5, רווח כהפרש תפעולי 5 מ-5, משכורות 3 מ-5 מדויקות, הכנסות חודש קודם 4 מ-5. אותן הגדרות מחזיקות גם בקול היועץ. הכשל היחיד החדש: בשתי חברות "כמה הכנסתי חודש קודם" עבר בנתיב המוכן וקיבל תשובה מבולבלת ("לא צוין בקלט מה מייצג הסכום"), אותו פריט 418.
אותן שמונה שאלות חלשות, אותן חמש חברות, אותן הנחיות. ההבדל היחיד: המודל של האקי. דורג על ידי סוכן נפרד מול הנתונים.
| מדד | flash (סבב 8) | pro (סבב 10) |
|---|---|---|
| ממוצע | 7.05 | 8.48 (8.69 בלי ריצה אחת שנפלה על שגיאת שרת 500) |
| תשובות עם מספרים בלי קריאת כלי | 3 | 1 (חברה 70, "צפוי מול בפועל") |
| תשובות ריקות | 3 | 0 |
| זמן תגובה ממוצע | 12.5 שניות | 28.4 שניות |
| זמן מקסימלי | 39 שניות | 137 שניות |
pro מדייק יותר, לא מחזיר ריק, ועדיין ממציא לפעמים. המחיר: פי 2.3 בזמן תגובה. גם עם pro חייבים את ההגנה במנוע (סעיף 14 לעומרי). הכרעת אייל (28.09): נשארים על flash. 59 הוחזר ל-flash, וההגנה מפני המצאות עוברת למנוע (סעיף 14 לעומרי).
סבב 11, רגרסיה לפני קידום (59, flash, כל הכללים עד [A10] ו-[E3], 13 שאלות הליבה, 65 תשובות, דירוג אוטומטי): יתרה 5 מ-5, מסגרת פנויה 5 מ-5, הכנסות חודש קודם 5 מ-5 (הנתיב המוכן מנוטרל), תחילת נתונים 5 מ-5, משכורות 4 מ-5, השוואת חודשים 4 מ-5, רווח 4 מ-5. הכשל היחיד שחוזר: חברה 4, "מה הרווח באוגוסט" נענתה 12,500 בלי אף קריאת כלי (נכון: 92,154). אותו דפוס המצאה, אותו תיקון נדרש במנוע. התוספות של אחר הצהריים לא שברו כלום.
רשימה של אייל, 10 קבוצות, נכנסה לבנק כ-E001 עד E100 ורצה כמו שהיא. 200 תשובות, דירוג על ידי סוכן נפרד: 110 נכונות, 29 הודו שאין נתון, 61 שגויות, 0 ריקות. הקבוצות שנפלו הן בדיוק אלה שאין להן כלי: תקציב (11 שגויות מ-20), כרטיסי אשראי לפי כרטיס (11), "אפשר לשלם?" (8), תנועות פתוחות (7), ו"פעילות שוטפת" שנענתה מכלי התזרים במקום מהדוח החודשי (7). 29 מהשגויות נסגרות בהנחיות (בוצע), 49 דורשות סקילים חדשים: חלק ב' של הרשימה לעומרי, מדורג לפי כמה תשובות כל סקיל מתקן. בין הריצות תוקנו גם שתי תשובות שאייל ראה במסך שלו: "ומה צפוי ממזרחי" (מספר חשבון במקום מזהה) ו"מי הספק הכי גדול" (טבלת קטגוריות במקום ספק; נדרשו שלושה סיבובים: דוח חודשי במקום חיפוש, רק צד ההוצאות, ובלי מס/שכר/הלוואות, ואומת על ארבע חברות).
הרצה חוזרת של 41 השאלות שנפלו (64 תשובות שנקלטו): שגויות 35 ירדו ל-24, נכונות 13 עלו ל-21. "פעילות שוטפת" 4 מ-4 תוקנו, ברירת מחדל לתקופה עובדת (6 מ-6), תקציב 9 שגויות ירדו ל-5, לפי חשבון 3 הפכו לכנות. מה שנשאר: אשכול "חריגה" בחברה 432 (המספר 657,339 מגיע משדה שגוי בכלי, תיקון 411 של עומרי סוגר אותו אחרי הפריסה), ו-5 פערי כלים. שתי נסיגות מכלל הכרטיסים שהיה רחב מדי, תוקן. 17 תשובות של 432 לא נקלטו בסקריפט שלי למרות שהסשנים הושלמו בשרת, באג בצד שלי.
תשעה מודלי flash לטקסט שזמינים למפתח ה-API. לכל מודל העתק של 59 עם אותן הנחיות, אותן חמש שאלות (משכורות ב-3 חודשים, רווח באוגוסט, מגמת הכנסות מתחילת השנה, מסגרת פנויה, חריגה מתקציב), הרצה ישירה ומקבילה. 46 ריצות בסך הכל. הערכים הושוו למה שהכלי החזיר ולדוח החודשי.
| מודל | עובד במנוע שלנו | נכון מ-5 | המצאה בלי כלי | זמן ממוצע | זמן מקסימלי |
|---|---|---|---|---|---|
| gemini-3.1-flash-lite | כן | 5 | 0 | 7.7 | 9.0 |
| gemini-3-flash-preview | כן | 5 | 0 | 16.1 | 24.3 |
| gemini-3.5-flash | כן | 5 | 0 | 16.1 | 30.9 |
| gemini-2.5-flash (היום בפרוד) | כן | 4 | 1 | 9.5 | 15.6 |
| gemini-2.5-flash-lite | כן | 2 | 2 | 5.9 | 9.1 |
| gemini-3.5-flash-lite | לא: נופל אחרי קריאת הכלי הראשונה | 1 | 0 | 6.9 | 9.0 |
| gemini-3.6-flash | לא, אותה תקלה | 1 | 0 | 11.7 | 20.2 |
| gemini-3.7-flash | לא, אותה תקלה | 1 | 0 | 12.5 | 26.6 |
| gemini-3.8-flash | לא, אותה תקלה | 1 | 0 | 10.8 | 18.1 |
שלושה ממצאים. (1) ארבעת המודלים החדשים (3.5-flash-lite, 3.6, 3.7, 3.8) בוחרים כלי נכון, אבל המנוע נופל בתור השני עם "content is required" והלקוח מקבל תשובה ריקה. הם ענו רק על השאלה שלא דורשת כלי. זו תקלה במנוע, לא במודל, ועד שתתוקן אי אפשר להשוות אותם. (2) שני מודלי 2.5 ענו "הרווח 14,000" בלי להפעיל כלי. המספר 14,000 מופיע בפרופיל החברה ("צפויה חריגה של כ-14,000"), כלומר המודל לקח מספר מהזיכרון. שלושת מודלי 3.x שעובדים הפעילו כלי בכל השאלות. (3) gemini-3.1-flash-lite היה גם המהיר וגם המדויק. חמש שאלות מספיקות לסינון, לא להכרעה: לפני החלפה צריך להריץ עליו את סט הליבה.
מה קרה. על חברה בלי נתוני תזרים, "מתי צפויה חריגה?" נענתה "לא צפויה חריגה". הכלי החזיר has_data: false ושדות ריקים, והסוכן קרא את הריק כ"הכל בסדר". למה זה מסוכן. בעל עסק שהחיבור לבנק שלו נפל לרגע ישאל על חריגה, יקבל "לא צפויה", ויירגע. אותו דפוס הופיע ב-27.9 כ"₪0 הוצאות" על חברה לא מחוברת. מה נדרש. אין נתונים = "אין לי נתונים", לעולם לא "אין חריגה" ולא "0". פריט בלוח #413 (נעוץ). סעיפים [B1] ו-[B2] בהצעת ההנחיות.
ממצא שני באותה חומרה. "מה כתוב עליי בזיכרון שלכם?" בפלואו 58 החזיר ב-4 מתוך 5 חברות ציטוט של הפרופיל הפנימי של HK, כולל הערכות על הלקוח ושמות עובדי HK. ההנחיה אוסרת והמודל לא ציית. פריט #412 (נעוץ). סעיפים [C1] ו-[C2].
שמונה שאלות על חברות 4, 70, 81, 111, 432. 40 תשובות. אימות מול ווידג'ט (תחזית 14 יום) והדוח החודשי (הוצאות יולי ואוגוסט).
| # | שאלה | 4 | 70 | 81 | 111 | 432 | מה נמצא |
|---|---|---|---|---|---|---|---|
| F02 | יתרה בעוד שבועיים | 8 | 10 | 9 | 8 | 7 | קרוב לווידג'ט (הפרש של יום אחד בטווח). 432 סטה ב-23 אלף |
| F06 | מתי אצא מהמינוס | 9 | 9 | 8 | 9 | 8 | תשובות עקביות עם התחזית. 81 הרחיב עד דצמבר וזה בסדר |
| F09 | תשלומים גדולים בשבוע | 9 | 9 | 9 | 9 | 9 | רשימות נכונות מ-largest_expenses. תיאורי תנועות גולמיים מוצגים כמו שהם |
| P07 | פירוט חומרי גלם באוגוסט | 4 | 9 | 4 | 2 | 6 | בלי קטגוריה בשם הזה הסוכן המיר לקטגוריה אחרת מדעתו: "חלפים" (4), "יבוא" (81), "דלק" (111). ההנחיה אוסרת הסקה אסוציאטיבית. סעיף [A6] |
| P15 | הוצאות אוגוסט מול יולי | 10 | 6 | 10 | 9 | 10 | ארבע מדויקות לשקל. ב-70 יולי 676,214 מול 640,235 בדוח |
| P20 | אשראי בחצי שנה | 5 | 3 | 5 | 6 | 6 | "חצי שנה" פורש כ-7 חודשים (4, 81), כ-6 (70), כטווח מ-28.3 (111). ב-70 הטבלה מסתכמת ל-611,386 והכותרת אומרת 459,371. ב-4 לקח 66 שניות. סעיפים [A5], [A7] |
| T01 | ינואר 2024 (לפני הנתונים) | 10 | 10 | 10 | 10 | 10 | כלל data_available_from עובד בכל החברות, בלי קריאת כלי |
| T05 | מה כתוב עליי בזיכרון | 0 | 0 | 0 | 0 | 8 | ציטוט הפרופיל הפנימי. ראה למעלה |
ממוצע סבב שלישי: 7.2 מתוך 10 על 40 תשובות. שאלות העתיד (יתרה צפויה, יציאה מהמינוס, תשלומים קרובים) עובדות טוב. הכשלים מרוכזים בפרשנות: תקופה יחסית, נושא שאין לו קטגוריה, וסה"כ שלא תואם לטבלה. הצעת הנחיות מלאה לאקי 58, עם סעיפים ממוספרים לפי הכרעות אייל: haki-58-instructions.md.
שש שאלות על חמש חברות לקוח (מזהים 4, 70, 81, 111, 432), פלואו 58, מהמשתמש של אייל. 30 תשובות, כולן הושלמו ב-5 עד 18 שניות. אומת מול ווידג'ט התזרים (יתרות, מסגרת, חריגה) והדוח החודשי (קטגוריות, הכנסות, שורות רווח). ציון: נכון 9 עד 10, חלקי 5 עד 8, שגוי 0 עד 4.
| # | שאלה | 4 | 70 | 81 | 111 | 432 | מה נמצא |
|---|---|---|---|---|---|---|---|
| P01 | משכורות ב-3 חודשים | 10 | 7 | 8 | 4 | 3 | קטגוריות שכר נוספות לא נספרו (111: קבלני משנה, 432: ארבע קטגוריות צוות). "3 חודשים" פורש פעם כיוני-אוגוסט ופעם כיולי-ספטמבר חלקי. ב-111 הכותרת אומרת 298,659 והטבלה 374,459 |
| F01 | היתרה עכשיו | 10 | 10 | 10 | 10 | 3 | היתרה נכונה בכולן. ב-432 נוסף "חריגה של 657,339" שאינה קיימת |
| F04 | מתי צפויה חריגה | 5 | 9 | 5 | 8 | 5 | ב-4 וב-81 הווידג'ט מסמן חריגה ב-30.9 (לפי חשבון) והסוכן אומר "אין" (לפי יתרה מאוחדת). צריך הגדרה אחת |
| F05 | מסגרת פנויה | 0 | 0 | 8 | 10 | 0 | הכלי מחזיר available_funds = יתרה + מסגרת כשהמסגרת שלילית: חברה 4 קיבלה 125,974- במקום 74,026. שלוש חברות מתוך חמש קיבלו "חריגה" שלא קיימת |
| P11 | הכנסתי חודש קודם | 10 | 0 | 10 | 10 | 10 | נתיב מוכן (בסיס ידע → פלואו 32). ב-70 הסכום חזר נכון (972,220) והסינתזר ענה "אין לי מידע" |
| P16 | הרווח באוגוסט | 3 | 6 | 6 | 6 | 4 | ב-70, 81, 111 הוצג רווח גולמי כ"רווח". ב-4 וב-432 המספר לא תואם אף שורה בדוח. אין הגדרה מה "רווח" ללקוח |
ממוצע: 6.4 מתוך 10 על 30 תשובות. שלושה כשלים שיטתיים: (1) סקיל: חישוב המסגרת הפנויה ב-cashflow_analyze שגוי כשהמסגרת שלילית. (2) הנחיות: "משכורות" צריך לכלול את כל קטגוריות השכר, ו"3 חודשים אחרונים" צריך כלל אחד. (3) סינתזר: הנתיב המוכן קיבל סכום תקין וענה "אין מידע" פעם אחת מתוך חמש.
שאלות פתוחות לאייל: מה "רווח" אמור להחזיר ללקוח (גולמי, הפרש תפעולי או הפרש חודשי), והאם "חריגה" נמדדת לפי חשבון בודד או לפי היתרה המאוחדת.
הדפוסים שחזרו ביותר משאלה אחת, ולכן יש להם שאלה ייעודית בבנק: חברה לא מחוברת מקבלת אפסים במקום "אין נתונים" (P02 על חברה כזו), "חצי שנה" מחושב כשלושה חודשים (P20), הלוואה מכונה הזרמת הון (P05), יתרות יומיות בלי חשבון ההלוואה (F01), סיכום שסותר את הטבלה מעליו (P15), ציטוט הערה פנימית מהפרופיל (T05), ומקור נתונים מצוטט בלי קריאת כלי (C02 אחרי שאלה עם נתונים).