VisualGPT ของไมโครซอฟต์เปิดตัวเทคโนโลยีใหม่” VisualGPT ” ซึ่งเป็นความก้าวหน้าของ AI และปลดล็อกความเป็นไปได้สำหรับประสบการณ์ AI แบบโต้ตอบที่น่าดึงดูดยิ่งขึ้น โดยเชื่อมช่องว่างระหว่างภาพและภาษา
VisualGPT คืออะไร
VisualGPT เป็นเวอร์ชันขยายของ ChatGPT ซึ่งใช้โมเดล NLP (การประมวลผลภาษาธรรมชาติ) แต่ใน VisualGPT จะใช้ VFMS ซึ่งสามารถแปลงข้อความค้นหาเป็นรูปแบบรูปภาพได้ เป็นการผสมผสาน/บูรณาการข้อความและรูปภาพเข้าด้วยกัน
วัตถุประสงค์ของ VisualGPT
หลังจากการเปิดตัว ChatGPT สู่ตลาดซึ่งทำงานในรูปแบบข้อความเพียงอย่างเดียว เพื่อให้บรรลุความก้าวหน้าในระดับต่อไป มีเครื่องมือที่สมบูรณ์แบบที่จะทำงานในรูปแบบข้อความเป็นกราฟิก ด้วยเหตุผลทั้งหมดนี้และในการแข่งขันสำหรับ AI ความก้าวหน้า Microsoft เปิดตัว VisualGPT วัตถุประสงค์หลักของ VisualGPT คือการสร้างภาพ AI ตามความต้องการของผู้ใช้หรือวิเคราะห์ภาพ
สถาปัตยกรรมของ VisualGPT
VisualGPT ประกอบด้วยแบบสอบถามผู้ใช้, Prompt Manager, Visual Foundation Models (VFM), หลักการของระบบ, ประวัติการสนทนา, ประวัติความเป็นมาของการใช้เหตุผล และคำตอบระดับกลาง
หากเราพูดถึงโมเดลของมันโดยเฉพาะนั่นคือ “ VFMs (แบบจำลองพื้นฐานการมองเห็น) ” มีการใช้ VFM เกือบ 22 รายการ เช่น BLIP (การฝึกอบรมล่วงหน้าภาษาและภาพบูตสแตรปปิ้ง) และการแพร่กระจายที่เสถียร
จะเรียกใช้ Visual ChatGPT ได้อย่างไร
หากต้องการเรียกใช้ Visual ChatGPT ให้พิจารณาขั้นตอนต่อไปนี้:
ขั้นตอนที่ 1: สร้างสภาพแวดล้อม
ขั้นแรก คุณต้องสร้างสภาพแวดล้อมของ Python เวอร์ชัน 3.8:
ระบบนำเข้า
sys.path.ผนวก ( '/usr/local/lib/python3.8/site-packages' )
ขั้นตอนที่ 2: โคลนไฟล์ Visual ChatGPT
ตอนนี้ โคลนไฟล์ Visual ChatGPT จาก GitHub โดยใช้คำสั่งต่อไปนี้:
! คอมไพล์โคลน https: // github.com / ดีทันชู88 / ภาพ-chatgpt.git 
ขั้นตอนที่ 3: ตั้งค่าไดเรกทอรีใหม่
หลังจากนั้นให้ตั้งค่าไดเร็กทอรีใหม่โดยใช้คำสั่งด้านล่าง:
% ซีดี ภาพ-chatgptขั้นตอนที่ 4: ติดตั้งแพ็คเกจที่จำเป็น
ตอนนี้ให้ติดตั้งแพ็คเกจที่จำเป็นโดยใช้คำสั่ง “ ปิ๊ป ” cmdlet:
! ขด https: // bootstrap.pypa.io / get-pip.py -โอ get-pip.py! python3.8 รับ-pip.py
! หลาม3.8 -ม ปิ๊ป ติดตั้ง -ร ข้อกำหนด.txt
ขั้นตอนที่ 5: เข้าถึง OpenAI API
หลังจากติดตั้งแพ็คเกจเริ่มต้น ให้เข้าถึง OpenAI API โดยรับคีย์ API จาก “platform.openai.com” และทำการเรียก API ที่ได้รับการรับรองความถูกต้อง:
% สิ่งแวดล้อม OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxขั้นตอนที่ 6: เลือกรุ่น
สุดท้ายนี้ หลังจากเข้าไปที่ Openai แล้ว เลือก Model ก็จะมีโมเดลที่ใช้ใน VisualGPT มากกว่า 20 แบบ ให้คุณเลือกได้ตามความต้องการ:
! หลาม3.8 . / visual_chatgpt.py --โหลด Text2Image_cuda: 0ในคำสั่งข้างต้น “ ข้อความ2รูปภาพ ” ตรงกับรุ่นที่ต้องการใช้ สำหรับรายละเอียดเพิ่มเติม โปรดดู Google Colab นี้ สมุดบันทึก .
บทสรุป
ChatGPT ได้รับการแนะนำเพื่อรับคำตอบเฉพาะเกี่ยวกับคำถามใด ๆ และตอนนี้ Microsoft ได้เปิดตัว VisualGPT ซึ่งสามารถจัดการกับข้อมูลที่เป็นข้อความและรูปภาพได้ ด้วยเหตุนี้ผู้ใช้สามารถเพิ่มความต้องการของเขาในรูปแบบข้อความและรับเอาต์พุตกราฟิกได้