จะนำเข้าโมเดลที่ได้รับการฝึกอบรมล่วงหน้าใน PyTorch ได้อย่างไร

Ca Na Khea Model Thi Di Rab Kar Fuk Xbrm Lwng Hna Ni Pytorch Di Xyangri



โมเดล Machine Learning ใน PyTorch นั้นซับซ้อนอย่างยิ่งและมีรายละเอียดด้วยข้อมูลนับล้านแถวและเทราไบต์ ยิ่งชุดข้อมูลที่ใช้ในการฝึกอบรมมีความหลากหลายมากขึ้นเท่าใด การอนุมานของแบบจำลองก็จะยิ่งดีขึ้นเท่านั้น จำเป็นอย่างยิ่งที่จะต้องใช้แบบจำลองที่ได้รับการฝึกอบรมก่อนหน้านี้เพื่อดึงการอนุมานจากข้อมูลใหม่ เนื่องจากสามารถประหยัดทรัพยากรและใช้แบบจำลองที่สร้างขึ้นอย่างพิถีพิถันแบบเดียวกันได้

ในบล็อกนี้ เราจะอธิบายสองวิธีในการนำเข้าโมเดลที่ได้รับการฝึกล่วงหน้าใน PyTorch

จะนำเข้าโมเดลที่ได้รับการฝึกอบรมล่วงหน้าใน PyTorch โดยใช้ Torchvision ได้อย่างไร

การมองเห็นคบเพลิง ” สามารถใช้ไลบรารีเพื่อนำเข้าโมเดลที่ได้รับการฝึกอบรมล่วงหน้าใน PyTorch เป็นการแบ่งย่อยของเบื้องต้น” คบเพลิง ” และมีฟังก์ชันการทำงานของชุดข้อมูลที่รวบรวมไว้ก่อนหน้านี้และโมเดลที่ได้รับการฝึกอบรม ไลบรารีนี้ช่วยให้ผู้ใช้สามารถเรียกโมเดลที่ได้รับการฝึกบนชุดข้อมูลขนาดใหญ่ได้ โมเดลที่ได้รับการฝึกล่วงหน้าเหล่านี้สามารถนำไปใช้กับข้อมูลใหม่ได้ และสามารถให้การอนุมานที่ถูกต้อง โดยไม่ต้องใช้ลูปการฝึกที่ยาวและไม่สามารถจัดการได้







ทำตามขั้นตอนด้านล่างเพื่อเรียนรู้วิธีนำเข้าโมเดลที่ได้รับการฝึกอบรมล่วงหน้าใน PyTorch โดยใช้ Torchvision:



ขั้นตอนที่ 1: เปิด Google Colab
ไปที่โคลาบอราทอรี เว็บไซต์ สร้างโดย Google และเริ่มต้น “ โน๊ตบุ๊คใหม่ ” เพื่อเริ่มโครงการ:







ขั้นตอนที่ 2: นำเข้าไลบรารีที่จำเป็น
เมื่อตั้งค่า Colab IDE แล้ว ขั้นตอนแรกคือติดตั้งและนำเข้าไลบรารีที่จำเป็นในโปรเจ็กต์ ดังนี้

! pip ติดตั้งไฟฉาย

นำเข้า คบเพลิง
นำเข้า การมองเห็นคบเพลิง
นำเข้า การมองเห็นคบเพลิง โมเดล

รหัสข้างต้นทำงานดังนี้:



  • ปิ๊ป ” ตัวติดตั้งแพ็คเกจสำหรับ Python ใช้ในการติดตั้ง “ คบเพลิง ' ห้องสมุด.
  • ต่อไป “ นำเข้า ” ใช้เพื่อนำเข้าไลบรารีไปยังโปรเจ็กต์ Colab
  • จากนั้น “ การมองเห็นคบเพลิง ” ไลบรารีถูกนำเข้าสู่โปรเจ็กต์แล้ว ประกอบด้วยฟังก์ชันสำหรับชุดข้อมูลและโมเดล
  • torchvision.รุ่น ” โมดูลประกอบด้วยโมเดลต่างๆ ที่ได้รับการฝึกอบรมล่วงหน้า เช่น โมเดลของ Residual Neural Network “ เรสเน็ต ”:

ขั้นตอนที่ 3: นำเข้าโมเดลที่ได้รับการฝึกอบรมล่วงหน้า
นำเข้าโมเดลที่ได้รับการฝึกล่วงหน้าซึ่งบันทึกไว้ในแพ็คเกจ “torchvision.models” โดยใช้โค้ดด้านล่าง:

Pre_Trained_รุ่น = การมองเห็นคบเพลิง โมเดล . จริงจัง50 ( ฝึกอบรมล่วงหน้า = จริง )

บรรทัดโค้ดด้านบนทำงานดังนี้:

  • กำหนดตัวแปรและตั้งชื่อที่เหมาะสมสำหรับการอ้างอิง เช่น “Pre_Trained_Model” .
  • ใช้ “torchvision.models” โมดูลที่จะเพิ่ม “ เรสเน็ต ' แบบอย่าง.
  • เพิ่ม “ จริงจัง50 ” สร้างโมเดลและตั้งค่า “ อบรมแล้ว=จริง ” ตามข้อโต้แย้ง:

ถัดไป ดูโมเดลที่ได้รับการฝึกล่วงหน้าเป็นเอาต์พุตโดยใช้เมธอด “print()”:

พิมพ์ ( Pre_Trained_รุ่น )

บันทึก : คุณสามารถเข้าถึงสมุดบันทึก Colab ของเราซึ่งมีรายละเอียดการนำเข้าโมเดล PyTorch ที่ผ่านการฝึกอบรมมาแล้วโดยใช้ torchvision ได้ที่นี้ ลิงค์ .

จะนำเข้าโมเดล PyTorch ที่ได้รับการฝึกอบรมล่วงหน้าจากฐานข้อมูล Hugging Face ได้อย่างไร

อีกวิธีในการนำเข้าโมเดลที่ได้รับการฝึกล่วงหน้าแล้วคือการขอรับจากแพลตฟอร์ม Hugging Face Hugging Face เป็นหนึ่งในฐานข้อมูลออนไลน์ที่ได้รับความนิยมมากที่สุดสำหรับโมเดลที่ผ่านการฝึกอบรมมาแล้วและชุดข้อมูลขนาดใหญ่สำหรับนักวิทยาศาสตร์ข้อมูลและโปรแกรมเมอร์

ทำตามขั้นตอนด้านล่างเพื่อนำเข้าโมเดล PyTorch ที่ได้รับการฝึกล่วงหน้าจากชุดข้อมูล Hugging Face:

ขั้นตอนที่ 1: เปิดสมุดบันทึก Colab และติดตั้งและนำเข้าไลบรารีที่จำเป็น
ขั้นตอนแรกคือการเปิดโน้ตบุ๊กใน Colab IDE และติดตั้งไลบรารีโดยใช้คำสั่ง “ ปิ๊ป ” ตัวติดตั้งแพ็คเกจและนำเข้าโดยใช้คำสั่ง “ นำเข้า ' สั่งการ:

! pip ติดตั้งไฟฉาย
! pip ติดตั้งหม้อแปลง

นำเข้า คบเพลิง
นำเข้า หม้อแปลงไฟฟ้า
จากหม้อแปลงไฟฟ้า นำเข้า โมเดลอัตโนมัติ

จำเป็นต้องมีไลบรารีต่อไปนี้ในโปรเจ็กต์นี้

  • คบเพลิง ” ไลบรารี่เป็นไลบรารี PyTorch ที่จำเป็น
  • หม้อแปลงไฟฟ้า ” ไลบรารีประกอบด้วยฟังก์ชันการทำงานของ Hugging Face โมเดล และชุดข้อมูล:

ขั้นตอนที่ 2: นำเข้าโมเดลจาก Hugging Face
ในตัวอย่างนี้ โมเดลที่จะนำเข้าจาก ' กอดหน้า ”ฐานข้อมูลมีอยู่ที่นี่ ลิงค์ . ใช้ ' AutoModel.from_pretrained() ” วิธีการนำเข้าโมเดลที่ได้รับการฝึกล่วงหน้าจาก Hugging Face ดังแสดงด้านล่าง:

pre_trained_model_name = 'เฮลซิงกิ-NLP/บทประพันธ์-mt-en-zh'
pre_trained_model = โมเดลอัตโนมัติ from_pretrained ( pre_trained_model_name )

พิมพ์ ( pre_trained_model )

รหัสข้างต้นทำงานดังนี้:

  • คัดลอกชื่อรุ่นจากเว็บไซต์บนแพลตฟอร์ม Hugging Face และกำหนดให้กับ “ pre_trained_model_name ” ตัวแปรใน Colab
  • จากนั้นใช้เครื่องหมาย “ AutoModel.from_pretrained() ” และป้อนตัวแปรชื่อโมเดลเป็นอาร์กิวเมนต์
  • สุดท้ายนี้ให้ใช้ 'พิมพ์() ” วิธีการแสดงโมเดลที่นำเข้าในเอาต์พุต

โมเดลที่ได้รับการฝึกล่วงหน้าที่นำเข้าจาก Hugging Face จะแสดงผลลัพธ์ด้านล่าง:

บันทึก : คุณสามารถเข้าถึงสมุดบันทึก Colab ของเราซึ่งมีรายละเอียดวิธีการนำเข้าโมเดลที่ได้รับการฝึกล่วงหน้าจาก Hugging Face ได้ที่นี่ ลิงค์ .

โปรทิป

Hugging Face คือคอลเลกชันชุดข้อมูลขนาดใหญ่และโมเดลที่ซับซ้อนอันทรงคุณค่าที่ทุกคนนำไปใช้ในโปรเจ็กต์การเรียนรู้เชิงลึกได้ฟรี คุณยังสามารถอัปโหลดชุดข้อมูลของคุณเองเพื่อให้ผู้อื่นนำไปใช้ได้ และแพลตฟอร์มดังกล่าวได้รับการปรับแต่งเพื่อการทำงานร่วมกันระหว่างนักวิทยาศาสตร์ข้อมูลและนักพัฒนาทั่วโลก

ความสำเร็จ! เราได้แสดงวิธีการนำเข้าโมเดล PyTorch ที่ผ่านการฝึกอบรมมาแล้วโดยใช้ไลบรารี torchvision หรือจากฐานข้อมูล Hugging Face โดยใช้ไลบรารี Transformers

บทสรุป

หากต้องการนำเข้าโมเดลที่ได้รับการฝึกล่วงหน้าใน PyTorch ผู้ใช้สามารถใช้ไลบรารี torchvision หรือจากฐานข้อมูลออนไลน์ Hugging Face โดยใช้ไลบรารี Transformers ใน Google Colab โมเดลที่ได้รับการฝึกอบรมล่วงหน้าเหล่านี้ใช้เพื่อหลีกเลี่ยงการใช้เวลาอันมีค่าและทรัพยากรฮาร์ดแวร์ในการฝึกอบรม และมุ่งตรงไปยังการทดสอบข้อมูลใหม่เพื่อการอนุมานที่น่าเชื่อถือ ในบล็อกนี้ เราได้แสดงสองวิธีในการนำเข้าโมเดลที่ได้รับการฝึกล่วงหน้าใน PyTorch