معالجة البيانات Data Processing

العمليات التي تؤدي الى جعل البيانات بشكل يمكن التعامل معه واستخلاص الاستنتاجات ، اذ ان البيانات غيرالمرتبة وغير المصنفة (Dirty Data)  والحاوية على المكررات لا يمكن ان توصل الى نتائج واضحة وذات نوعية جيدة . وهذه المعالجات يمكن ان تكون :

• تنظيف البيانات Data Cleansing ، وفي هذه الخطوة يمكن مليء الفجوات في البيانات الناتجة كما في استعمال البيانات الاكثر احتمالا )وضع المعدلات او الصفر في بعض الحالات ( لغرض تخليص النتائج النهائية من التشرذم ، وتشمل ايضا التعامل مع البيانات الشاذة (Outliers)، فضلا عن اشتمالها ازالة البيانات المكررة .

• تحويل البيانات Data Transfer ، في هذه الخطوة يتم تحويل البيانات الى اشكال معلومات ملائمة اي احداث عملية مجانسة Normalization مثل استعمال القيم العليا والدنيا (Min-Max) او استعمال Z-Scores اواستعمال المقياس العشري . لذلك فان عملية المجانسة او التسوية تعد احدى طرق التنظيف .
وفي هذه الخطوة يمكن اجراء عمليات التجميع مثل اجراء الجمع للحصول على ملخصات للبيانات ، ومن عمليات التسوية استعمال المقاييس اللوغارتيمية بدلا من القيم الحقيقية .
• اختزال البيانات ، وفي هذه الحالة يتم اختزال واختصار البيانات اذا كان ضروريا لتوضيح كفاءة الطرق التي استعملت في الحصول على البيانات .

وفيها يمكن استعمال العديد من الطرق مثل الطرق الاحصائية كما في استعمال فحص تحليل التباين ANOVA او SVM او غيرها من الخوارزميات للحصول على بيانات مختصرة جدا ومفهومة .