רוב הארגונים לא מנצלים כראוי נתונים בעלי ערך

יום א', 14 במרץ 2021
 
 על אף העובדה כי קבלת החלטות על בסיס נתונים היא גורם מכריע להצלחת עסקים בימינו, מחקר בינלאומי חדש שבוצע על ידי Dimensional Research מטעם ספקית אינטגרציית הנתונים  Fivetran חושף שככלל ארגונים מתקשים למנף את כמות הנתונים העומדת לרשותם. על פי המחקר, 44 אחוזים מהמשיבים ציינו שנתוני מפתח עדיין אינם זמינים לשימוש לצורך קבלת החלטות, ו-68 אחוזים אמרו כי היו יכולים לחלץ תובנות עסקיות נוספות מהנתונים הקיימים, לו רק היה להם יותר זמן. הסיבה לכך מיוחסת ברובה לבעיות הקשורות לחוסר יעילות בתחזוקת הנתונים עמן מתמודדים המהנדסים שאחראיים על המרה של נתוני הארגון לפורמט קל לניתוח. 
 
על פי המחקר, הסיבות המיוחסות לחוסר היעילות של מהנדסי הנתונים קשורות לצינורות עיבוד הנתונים (Pipelines), כאשר 98 אחוזים מהמשיבים העידו כי חוו קושי בבניית צינורות עיבוד נתונים לצורך גישה לנתונים. יתרה מכך כ-98 אחוזים אף ציינו שאותם צינורות העיבוד קורסים, ומחצית מהנשאלים (51%) אמרו שזה קורה בתדירות של למעלה מפעם בחודש. המשיבים שדיווחו על קריסה יומיומית של צינורות העיבוד ציינו שנגישות מקורות נתונים ושינויי סכימה הן הסיבות המובילות לקריסתם. 
 
בשל העובדה שמהנדסי הנתונים מבזבזים זמן יקר בתיקון ובתחזוקת צינורות העיבוד במקום להתמקד במשימות בעלות ערך, העסק סובל ופעילותו עלולה להיפגע. לראייה, ממצאי הדוח מצביעים על כך ש-66 אחוזים מהנשאלים דיווחו על יעילות תפעולית מופחתת ו-59 אחוזים מהנשאלים דיווחו על החלטות שנדחו או הזדמנויות שפוספסו בגלל פעילות תקולה של צינורות העיבוד.  
 
בארגונים גדולים כמו בעסקים קטנים ובינוניים, גישה מיידית ומהימנה לנתונים היא גורם קריטי בקבלת החלטות. המחקר מראה שבעיות בצינורות עיבוד הנתונים ממשיכות להכביד על התהליך, וכתוצאה מכך הארגונים מחמיצים תובנות רבות-ערך. 
 
מבין הממצאים הנוספים של המחקר: 79 אחוזים מהארגונים מתכננים לגייס מהנדסי נתונים נוספים בשנה הקרובה; 72 אחוזים מהארגונים משנעים את נתוני המקור באופן יומי או בתדירות גבוהה יותר; 59 אחוזים מהארגונים עושים שימוש ב-11 מקורות נתונים ומעלה; 91 אחוזים אומרים שבעיות עם זמינות המקור היא הסיבה לקריסה יומיומית של צינורות עיבוד הנתונים; 55 אחוזים מדווחים שדרוש יותר מיום עסקים אחד כדי לתקן צינור עיבוד תקול; 86 אחוזים משתמשים בפתרונות מרובים לבניית צינורות עיבוד נתונים חדשים; 41 אחוזים אומרים שהיעדר אסטרטגיית נתונים (מדיניות, תהליכים, טכנולוגיה) היא אתגר הנתונים הגדול ביותר עמו מתמודד הארגון שלהם.