“ค่าที่คั่นด้วยจุลภาค (CSV) เป็นหนึ่งในรูปแบบข้อมูลที่หลากหลายและใช้งานง่ายที่สุด เป็นรูปแบบข้อมูลน้ำหนักเบาที่ช่วยให้นักพัฒนาและแอปพลิเคชันสามารถถ่ายโอนและแยกวิเคราะห์ข้อมูลจากแหล่งหนึ่งไปยังอีกแหล่งหนึ่งได้
ข้อมูล CSV จัดเก็บข้อมูลในรูปแบบตารางโดยที่แต่ละคอลัมน์คั่นด้วยเครื่องหมายจุลภาค และเรกคอร์ดใหม่จะถูกจัดสรรให้กับบรรทัดใหม่ ทำให้เป็นตัวเลือกที่ดีสำหรับการส่งออกฐานข้อมูล เช่น ฐานข้อมูล SQL ข้อมูล Cassandra และอื่นๆ
ดังนั้นจึงไม่น่าแปลกใจที่คุณจะพบสถานการณ์ที่คุณต้องนำเข้าไฟล์ CSV ลงในฐานข้อมูลของคุณ
เป้าหมายของบทช่วยสอนนี้คือการแสดงวิธีการที่รวดเร็วและง่ายดายในการนำเข้าไฟล์ CSV ไปยังคลัสเตอร์ Elasticsearch ของคุณโดยใช้แดชบอร์ด Kibana”
กระโดดเข้าไปกันเถอะ
ความต้องการ
ก่อนดำน้ำ ตรวจสอบว่าคุณมีข้อกำหนดดังต่อไปนี้:
- คลัสเตอร์ Elasticsearch ที่มีสถานะสุขภาพสีเขียว
- เซิร์ฟเวอร์ Kibana เชื่อมต่อกับคลัสเตอร์ Elasticsearch ของคุณ
- มีสิทธิ์เพียงพอในการจัดการดัชนีบนคลัสเตอร์ของคุณ
ตัวอย่างไฟล์ CSV
ตามปกติ ข้อกำหนดแรกคือไฟล์ CSV ต้นทางของคุณ เป็นการดีที่จะตรวจสอบให้แน่ใจว่าข้อมูลในไฟล์ CSV ของคุณมีรูปแบบที่ดีและไม่มีข้อผิดพลาด
เพื่อจุดประสงค์ในการอธิบาย เราจะใช้ชุดข้อมูลฟรีที่มีภาพยนตร์และรายการทีวีจาก Amazon Prime
เปิดเบราว์เซอร์ของคุณและไปที่แหล่งข้อมูลด้านล่าง:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
ทำตามขั้นตอนเพื่อดาวน์โหลดชุดข้อมูลไปยังเครื่องท้องถิ่นของคุณ คุณสามารถแตกไฟล์เก็บถาวรที่ดาวน์โหลดด้วยคำสั่ง:
$ เปิดเครื่องรูด อ~ / ดาวน์โหลด / archive.zip
นำเข้าไฟล์ CSV
เมื่อคุณมีไฟล์ต้นฉบับพร้อมแล้ว เราสามารถดำเนินการและหารือเกี่ยวกับวิธีนำเข้าไฟล์ได้
เริ่มต้นด้วยการไปที่แดชบอร์ดหลักของ Kibana และเลือกตัวเลือก 'อัปโหลดไฟล์'
ค้นหาไฟล์ CSV เป้าหมายที่คุณต้องการนำเข้าในหน้าต่างตัวเรียกใช้
เลือกไฟล์ต้นฉบับของคุณแล้วคลิกอัปโหลด
อนุญาตให้ Elasticsearch และ Kibana วิเคราะห์ไฟล์ที่อัปโหลด การดำเนินการนี้จะแยกวิเคราะห์ไฟล์ CSV และกำหนดรูปแบบข้อมูล ฟิลด์ ประเภทข้อมูล ฯลฯ
หมายเหตุ: ขึ้นอยู่กับการกำหนดค่าคลัสเตอร์ของคุณและขนาดข้อมูล กระบวนการนี้อาจใช้เวลาสักครู่ ตรวจสอบให้แน่ใจว่าโหนดหลักตอบสนองเพื่อหลีกเลี่ยงการหมดเวลา
เมื่อกระบวนการเสร็จสมบูรณ์ คุณควรได้รับตัวอย่างเนื้อหาไฟล์ของคุณและสถิติไฟล์ตามที่ Elastic วิเคราะห์
คุณสามารถปรับแต่งพารามิเตอร์ได้มากมาย เช่น ตัวคั่น แถวส่วนหัว ฯลฯ ตัวอย่างเช่น เราสามารถปรับแต่งเอาต์พุตด้านบนเพื่อบอก Elastic ว่าไฟล์ CSV ของเรามีไฟล์ส่วนหัว
จากนั้นเราสามารถคลิกนำไปใช้และวิเคราะห์ข้อมูลอีกครั้ง สิ่งนี้ควรจัดรูปแบบข้อมูลในรูปแบบที่ถูกต้อง รวมถึงฟิลด์
ต่อไป เราสามารถคลิกนำเข้าเพื่อไปยังแดชบอร์ดที่นำเข้า
ที่นี่ เราต้องสร้างดัชนีที่เก็บข้อมูล CSV คุณสามารถจัดสรรชื่อที่สนับสนุนให้กับดัชนีของคุณได้
หากคุณต้องการปรับแต่งคุณสมบัติของดัชนี เช่น จำนวนชาร์ด แบบจำลอง การแมป ฯลฯ ให้เลือกตัวเลือกขั้นสูงและปรับแต่งการตั้งค่าของคุณตามที่คุณต้องการ
สุดท้าย คลิกนำเข้าและดูในขณะที่ Kibana ทำ 'เวทมนตร์' เมื่อเสร็จแล้ว คุณสามารถเข้าถึงดัชนีของคุณผ่าน Elasticsearch API หรือใช้แดชบอร์ด Kibana
และเสร็จแล้ว!!
บทสรุป
ในโพสต์นี้ เราได้กล่าวถึงกระบวนการดึงและนำเข้าชุดข้อมูล CSV ของคุณไปยังคลัสเตอร์ Elasticsearch ของคุณโดยใช้แดชบอร์ด Kibana
ขอบคุณสำหรับการอ่าน & Happy coding!!