“If you talk to a man in a language he understands, that goes to his head. If you talk to him in his language, that goes to his heart.”
—Nelson Mandela
“ถ้าคุณคุยกับคนด้วยภาษาที่เขาฟังรู้เรื่อง สิ่งที่คุณพูดจะเข้าไปในหัวเขา. ถ้าคุณคุยกับเขาด้วยภาษาของเขา สิ่งที่คุณพูดจะเข้าไปในใจเขา.”
—เนลสัน แมนเดลา
จงอภิปรายถึง (1) แนวทางต่าง ๆ เพื่อประยุกต์ใช้โครงข่ายประสาทเทียม เช่น เพอร์เซปตรอนหลายชั้น ที่ไม่มีกลไกการเวียนกลับ กับข้อมูลเชิงลำดับ พร้อมอภิปรายข้อดีและข้อเสีย สำหรับแนวทางต่าง ๆ ที่เสนอมา พร้อมยกตัวอย่างให้เห็นภาพ (2) ข้อดีและข้อเสียเปรียบเทียบกับการใช้โครงข่ายประสาทเทียมเวียนกลับ.
จงอภิปรายถึง (1) แนวทางต่าง ๆ เพื่อประยุกต์ใช้โครงข่ายคอนโวลูชัน ที่ไม่มีกลไกการเวียนกลับ กับข้อมูลเชิงลำดับ พร้อมอภิปรายข้อดีและข้อเสีย สำหรับแนวทางต่าง ๆ ที่เสนอมา พร้อมยกตัวอย่างให้เห็นภาพ (2) ข้อดีและข้อเสียเปรียบเทียบกับการใช้โครงข่ายประสาทเทียมเวียนกลับ.
จงอภิปรายถึง (1) แนวทางต่าง ๆ เพื่อประยุกต์ใช้โครงข่ายประสาทเวียนกลับ กับข้อมูลที่มีความสัมพันธ์เชิงท้องถิ่นหลายมิติ เช่น ข้อมูลภาพ พร้อมอภิปรายข้อดีและข้อเสีย สำหรับแนวทางต่าง ๆ ที่เสนอมา พร้อมยกตัวอย่างให้เห็นภาพ (2) ข้อดีและข้อเสียเปรียบเทียบกับการใช้โครงข่ายคอนโวลูชัน.
รูป 1 แสดงการจัดโครงสร้างสถาปัตยกรรมตัวเข้ารหัสตัวถอดรหัส โดยใช้เอาต์พุตจากตัวเข้ารหัส นำมาเป็นอินพุตสำหรับตัวถอดรหัส
จงอภิปราย ข้อดี ข้อเสีย และปัญหาของการจัดโครงสร้างแบบนี้ เปรียบเทียบแบบใช้สถานะภายในเป็นรหัส (รูป [fig: rnn unfolding diagram encoder-decoder coded hidden state])
นอกจาก การจัดโครงสร้างดังแสดงในรูป [fig: rnn unfolding diagram encoder-decoder coded hidden state] แล้วสถาปัตยกรรมตัวเข้ารหัสตัวถอดรหัส อาจผ่านรหัสข้อความ ไปเป็นส่วนหนึ่งของอินพุตของตัวถอดรหัสได้ (รูปแบบที่สอง) หรือ แม้แต่จะผ่านรหัสข้อความ ไปเป็นทั้งสถานะเริ่มต้น และส่วนหนึ่งของอินพุต ดังแสดงในรูป [fig: nlp encoder-decoder without attention] (รูปแบบที่สาม)
จงอภิปราย ข้อดี ข้อเสีย การจัดโครงสร้างแบบต่าง ๆ นี้ รวมถึงอภิปรายปัจจัยที่เกี่ยวข้อง สถานการณ์ที่บางรูปแบบอาจทำงานได้ดีกว่า พร้อมออกแบบการทดลอง ดำเนินการทดลอง และนำเสนอผล.
จงศึกษาภารกิจการจำแนกอารมณ์ แนวทางปฏิบัติ การวัดผล และข้อมูลที่นิยม และสร้างระบบการจำแนกอารมณ์ พร้อมประเมินผล.
จงศึกษาภารกิจการระบุหมวดคำ แนวทางปฏิบัติ การวัดผล และข้อมูลที่นิยม และสร้างระบบการจำแนกอารมณ์ พร้อมประเมินผล.
จงศึกษาการทำงานของระบบสังเคราะห์เสียง เช่น เวฟเน็ต (Wavenet) อภิปรายถึงแนวทางและวิธีที่ใช้ รวมถึงการประเมินผลและข้อมูล.
จงศึกษาสถาปัตยกรรมตัวเข้ารหัสตัวถอดรหัส (อาจเริ่มจากบทความที่ทรงอิทธิพล) ออกแบบการทดลอง เพื่อศึกษาปัจจัยความยาวของชุดลำดับข้อมูลกับประสิทธิภาพของระบบ ดำเนินการทดลอง รายงานผล และสรุป.
จงรวมกลุ่มระดมความคิด และอภิปรายแนวทางที่จะแก้ปัญหาระบบแปลภาษา เพื่อแก้ปัญหาคอขวดในสถาปัตยกรรมตัวเข้ารหัสตัวถอดรหัส
หมายเหตุ แบบฝึกหัดนี้ ต้องการฝึกการคิดเชิงวิพากษ์ และฝึกความคิดสร้างสรรค์ อีกทั้งจะทำให้เห็นคุณค่าของกลไกความใส่ใจด้วย แต่เพื่อให้แบบฝึกหัดนี้ บรรลุจุดประสงค์ได้ ควรทำแบบฝึกหัดนี้ก่อนที่จะศึกษาเรื่องกลไกความใส่ใจ หรือหากได้ศึกษาเรื่องกลไกความใส่ใจไปแล้ว อาจจะลองเปิดใจมองหาแนวทางอื่น ๆ ที่อาจจะช่วยบรรเทาปัญหานี้ได้.
จงศึกษาพัฒนาการและกลไกที่สำคัญของศาสตร์แบบจำลองชุดข้อมูลลำดับ จากโครงข่ายประสาทเวียนกลับ แบบจำลองความจำระยะสั้นที่ยาว สถาปัตยกรรมตัวเข้ารหัสตัวถอดรหัส กลไกความใส่ใจ และตัวแปลงชนิดต่าง ๆ (เช่น Transformer, BERT, GPT-3) สรุปประเด็น แนวทางทีี่สำคัญ ลักษณะปัญหา และการประยุกต์ใช้ รวมถึงช่วงเวลา และอภิปราย เหตุผล แรงขับดันเบื้องหลังพัฒนาการเหล่านี้.
จงศึกษาศาสตร์การประมวลผลภาษาธรรมชาติ ในเชิงกว้าง ถึงภารกิจต่าง ๆ ที่สำคัญ และบริบทในแง่ความต้องการของสังคม รวมถึง ความก้าวหน้าในแต่ละภารกิจ เมื่อเทียบกับจุดมุ่งหมาย และอภิปรายโอกาสการประยุกต์ใช้ต่าง ๆ ที่อาจจะนอกเหนือจากประยุกต์ใช้ดั่งเดิม และความท้าทายต่าง ๆ ในงานวิจัย เพื่อบรรลุจุดประสงค์ รวมถึงเชื่อมโยงสิ่งที่ได้เรียนรู้ ความก้าวหน้า การประยุกต์ใช้ จากบริบทในแง่ความต้องการของสังคม.
จงเลือกภารกิจการประมวลผลภาษาธรรมชาติที่สนใจ และศึกษาภารกิจ แนวทางปฏิบัติ ปัจจัยที่เกี่ยวข้อง การวัดผล และข้อมูลที่นิยม และทดลองสร้างระบบสำหรับภารกิจที่เลือก ประเมินผล ให้ความเห็น และสรุปสิ่งที่ได้เรียนรู้.