Data Cleaning คืออะไร

การจัดการกับค่าว่าง (Missing Values)
ค่าว่าง คือการที่ชุดข้อมูลมีข้อมูลไม่ครบถ้วนบางช่องในตารางอาจไม่มีข้อมูล ซึ่งก็มีสาเหตุมาจากหลายเรื่องด้วยกัน เช่น เก็บข้อมูลผิดพลาด, ไม่มีการแทนค่าว่างด้วยสัญลักษณ์หรืออักษรย่อใด ๆ เป็นต้นดังนั้นเรื่องแรกที่จะต้องตรวจสอบก็คือชุดข้อมูลมีค่าว่างหรือไม่ ซึ่งวิธีการจัดการมีวิธีการที่ทำกันเป็นประจำดังนี้

• Drop Missing Values คือการลบแถวของชุดข้อมูลหรือคอลัมน์ของชุดข้อมูลที่มีค่าว่างออกไปทั้งหมดซึ่งวิธีนี้สามารถทำได้ไม่ยากและทำได้รวดเร็วแต่ข้อเสียคือจะสูญเสียข้อมูลไป และถ้าเกิดว่ามีค่าว่างในหลายแถวหลายคอลัมน์ก็จะยิ่งทำให้เราเสียข้อมูลมากจนเกินไป
• Imputation คือการเติมค่าสมมุติลงไปแทนค่าว่าง เช่นการใช้ค่าเฉลี่ย, ค่าฐานนิยม เป็นต้น วิธีนี้ช่วยให้สามารถรักษาข้อมูลเอาไว้ได้ ถึงแม้ว่าข้อมูลที่เติมลงไปอาจจะไม่ถูกต้องตามความจริงนัก แต่ก็มักจะช่วยให้การวิเคราะห์หรือโมเดลทำงานได้ดีขึ้น ทั้งนี้ข้อพึงระวังในการเติมค่าคือคุณจำเป็นจะต้องมีความรู้ความเข้าใจในโจทย์และชุดข้อมูลนั้น ๆ ให้ดีซะก่อนเพื่อให้ค่าที่เติมลงไปมีความถูกต้องใกล้เคียงความจริง
• Imputation แบบ Advance ในกรณีที่ข้อมูลและงานมีความซับซ้อนนั้นค่าที่ต้องเติมควรมีการคิดและหาวิธีเติมที่ถูกต้องมากกว่าการใช้ค่าสถิติทั่ว ๆ ไป และสำหรับงานด้าน ML นั้นอาจเพิ่มคอลัมน์สำหรับระบุว่าช่องไหนบ้างที่ทำการเติมข้อมูลลงไป (Extension to Imputation) ซึ่งเรื่องเหล่านี้จะอยู่ในการทำ Feature Engineering

การจัดการช่วงของข้อมูล และการกระจายตัวของข้อมูล (Scaling & Normalization)
วิธีการนี้จะถูกใช้กับข้อมูลที่เป็นตัวเลข โดยที่

• Scaling คือการปรับค่าของข้อมูล (ที่มีประเภทเป็นตัวเลข) ให้อยู่ในช่วงที่กำหนด เช่นให้อยู่ในช่วง 0-100, 0-1 เป็นต้น สาเหตุที่ต้องทำการสเกลนั้นเป็นเพราะในหลาย ๆ โมเดลมองค่าไม่เหมือนกับที่มนุษย์มอง เช่น สมมุติว่า 1 USD มีค่าเท่ากับ 100 Yen แต่โมเดลอย่าง SVM หรือ KNN นั้นมองว่าส่วนต่างของ 1 Yen กับ 1 USD นั้นมีค่าเท่ากัน เป็นต้น ดังนั้นจึงต้องแปลงค่าให้อยู่ในช่วงที่เหมาะสมกับงานซะก่อน
• Normalization คือการปรับรูปแบบการกระจายตัวของข้อมูล โดยปกติแล้วเราต้องการให้ข้อมูลมีรูปแบบการกระจายตัวแบบปกติ (Normal Distribution) เพราะในหลาย ๆ โมเดลต้องการข้อมูลที่มีการกระจายตัวแบบปกติเช่นกัน

การจัดการกับข้อมูลที่เป็นวันที่ (Parsing Dates)
วันเดือนปีและเวลา ที่มาในตารางหรือชุดข้อมูลบางครั้งก็มีรูปแบบที่ไม่ตรงกันหรือประเภทของข้อมูลไม่ใช่ datetime ดังนั้นข้อมูลวันที่เหล่านี้จึงควรจัดให้อยู่ในรูปแบบการเขียนเดียวกัน และมีประเภทเป็นdatetime จริง ๆ

การเข้ารหัสตัวอักษร (Character Encodings)
ในหลาย ๆ ครั้งชุดข้อมูลภาษาอื่น ๆ ที่ไม่ใช่ Latin Characters มักจะไม่สามารถแสดงผลข้อมูลได้ถูกต้อง อย่าง สวัสดี กลายเป็น ������ หรือกลายเป็นสิ่งที่อ่านไม่ออก ดังนั้นการเข้ารหัสตัวอักษรคือสิ่งสำคัญที่จะทำให้สามารถอ่านและแสดงผลข้อมูลได้ถูกต้อง โดยหลักการคือการจับคู่ข้อมูลดิบของตัวอักษรในรูปแบบเลขฐานสอง มาแปลความเป็นคำที่มนุษย์สามารถอ่านออกและเข้าใจได้

Tips ใน python บางครั้ง utf-8 ไม่สามารถใช้เข้ารหัสภาษาไทยได้ ให้ลองใช้เป็น tis-620 แทน

รูปแบบของข้อมูลไม่สอดคล้องกัน (Inconsistent Data Entry)
เช่น ในชุดข้อมูลมีคอลัมน์ของจังหวัดและเขตการปกครอง โดยที่ในคอลัมน์นี้มีข้อมูลทั้ง กรุงเทพมหานคร กรุงเทพฯ กทม. เป็นต้น จะเห็นว่าทั้ง 3 ค่านี้จริง ๆ แล้วคือค่าเดียวกัน ดังนั้นการจัดรูปให้ตรงกันก็เป็นเรื่องที่จำเป็นเช่นกัน