8 แบบฝึกหัด

8.0.0.0.1 แบบฝึกหัด

จากหัวข้อ [sec: seq HMM train] (สมการ \(\eqref{eq: seq HMM likelihood function M step}\)) จงแสดงให้เห็นว่า \[\begin{eqnarray} \sum_{\boldsymbol{Z}} p(\boldsymbol{Z}|\boldsymbol{X}, \boldsymbol{\theta}_0) \cdot \ln \left\{p(\boldsymbol{z}_1|\boldsymbol{\pi}) \cdot \left( \prod_{t=2}^T p(\boldsymbol{z}_t|\boldsymbol{z}_{t-1}, \boldsymbol{A}) \right) \cdot \prod_{\tau=1}^T p(\boldsymbol{x}_\tau|\boldsymbol{z}_\tau, \boldsymbol{\phi}) \right\} \nonumber \\ = \sum_{k=1}^K q_{1k} \cdot \ln p(\boldsymbol{z}_1|\boldsymbol{\pi}) + \sum_{j=1}^K \sum_{k=1}^K \sum_{t=2}^T R^{(t-1,t)}_{j,k} \cdot \ln p(\boldsymbol{z}_t|\boldsymbol{z}_{t-1}, \boldsymbol{A}) + \sum_{k=1}^K \sum_{\tau=1}^T q_{\tau k} \cdot \ln p(\boldsymbol{x}_\tau|\boldsymbol{z}_\tau, \boldsymbol{\phi}) \nonumber \end{eqnarray}\] เมื่อ \(p(\boldsymbol{Z}|\boldsymbol{X}, \boldsymbol{\theta}_0) = p(\boldsymbol{z}_1, \ldots, \boldsymbol{z}_T|\boldsymbol{X}, \boldsymbol{\theta}_0)\) โดย \(\boldsymbol{z}_t\) แสดงด้วยรหัสหนึ่งร้อน และ \(q_{tk} \equiv p(z_{tk} = 1|\boldsymbol{X}, \boldsymbol{\theta}_0)\) กับ \(R^{(t-1,t)}_{j,k} \equiv p(z_{t-1,j} = 1, z_{t,k}=1|\boldsymbol{X}, \boldsymbol{\theta}_0)\). คำใบ้ แบบจำลองนี้ อาศัยเงื่อนไข.

8.0.0.0.2 แบบฝึกหัด

จงแสดงให้เห็นว่า ค่าของ \(\pi_k\) และค่าของ \(A_{jk}\) ดังระบุในสมการ \(\eqref{eq: seq HMM pi_k}\) และ \(\eqref{eq: seq HMM A_jk}\) จะทำให้ฟังก์ชันควรจะเป็น (สมการ \(\eqref{eq: seq HMM likelihood function M step}\)) มีค่าสูงสุด ขณะที่ยังรักษาเงื่อนไขความน่าจะเป็น \(\sum_k \pi_k = 1\) และ \(\sum_k A_{jk} = 1\) ไว้ได้.

คำใบ้ ฟังก์ชันจุดประสงค์ที่รวมเงื่อนไขแล้ว ¹ จะเป็นดังสมการ \(\eqref{eq: HMM M step constrained likelihood}\). \[\begin{eqnarray} \mathcal{G}(\boldsymbol{\theta}) &=& \varepsilon (\boldsymbol{\theta}, \boldsymbol{\theta}_0) - \lambda_1 \left( \sum_k \pi_k - 1 \right) - \lambda_2 \left( \sum_k A_{jk} - 1 \right) \label{eq: HMM M step constrained likelihood} \end{eqnarray}\] เมื่อ \(\lambda_1 \geq 0\) และ \(\lambda_2 \geq 0\) เป็นลากรานจ์พารามิเตอร์ เพื่อช่วยรักษาเงื่อนไข \(\sum_k \pi_k = 1\) และ \(\sum_k A_{jk} = 1\).

ตัวอย่างของการวิเคราะห์ ค่า \(\pi_k\) อาจแสดงดังนี้. ณ ที่ค่าทำให้มากที่สุด ค่าอนุพันธ์ \(\partial \mathcal{G}(\boldsymbol{\theta})/\partial \pi_k = 0\). นั่นคือ \[\begin{eqnarray} \frac{\partial \varepsilon (\boldsymbol{\theta}, \boldsymbol{\theta}_0)}{\partial \pi_k} - \lambda_1 \frac{\partial \left( \sum_j \pi_j - 1 \right)}{\partial \pi_k} &=& 0 \nonumber \\ \frac{\partial \sum_j q_{1j} \cdot \ln \pi_j}{\partial \pi_k} - \lambda_1 &=& 0 \nonumber \\ \frac{q_{1k}}{\pi_k} &=& \lambda_1 \nonumber \\ \pi_k &=& \frac{q_{1k}}{\lambda_1} \label{eq: HMM M step pi_k lambda}. \end{eqnarray}\]

ด้วยเงื่อนไข \(\sum_j \pi_j = 1\) เมื่อแทนสมการ \(\eqref{eq: HMM M step pi_k lambda}\) ลงไปจะได้ \[\begin{eqnarray} \sum_j \frac{q_{1j}}{\lambda_1} &=& 1 \nonumber \\ \lambda_1 &=& \sum_j q_{1j} \label{eq: HMM M step pi_k constrained lambda}. \end{eqnarray}\] เมื่อนำผลจากสมการ \(\eqref{eq: HMM M step pi_k constrained lambda}\) กลับไปประมวลกับสมการ \(\eqref{eq: HMM M step pi_k lambda}\) จะได้ \(\pi_k = \frac{q_{1k}}{\sum_j q_{1j}}\) ซึ่งคือสมการ \(\eqref{eq: seq HMM pi_k}\).

8.0.0.0.3 แบบฝึกหัด

ด้วยเงื่อนไขของแบบจำลองมาร์คอฟซ่อนเร้น จงพิสูจน์คุณสมบัติในสมการ \(\eqref{eq: alpha-beta prelude property 1}\) ถึง \(\eqref{eq: alpha-beta prelude property 8}\).

8.0.0.0.4 แบบฝึกหัด

จงศึกษาระบบแต่งเพลงอัตโนมัติ แนวทางปฏิบัติ การวัดผล และข้อมูลที่นิยม และสร้างระบบการจำแนกอารมณ์ พร้อมประเมินผล.

8.0.0.0.5 แบบฝึกหัด

จงศึกษาศาสตร์การจำลองแบบ โดยเฉพาะสำหรับข้อมูลชุดลำดับ ในเชิงกว้าง ถึงแบบจำลอง ขั้นตอนวิธี และกลไกที่เป็นศาสตร์และศิลป์ หรือคิดว่าน่าสนใจ รวมไปถึง ปัจจัยหรือประเด็นที่ควรใส่ใจ การประยุกต์ใช้เด่น ๆ และภารกิจต่าง ๆ และอภิปรายโอกาสการประยุกต์ใช้ต่าง ๆ และความท้าทายต่าง ๆ ในงานวิจัย แล้วสรุปและให้ความเห็น.

8.0.0.0.6 แบบฝึกหัด

จากแบบฝึกหัด 1.0.0.0.5 จงเลือกประเด็น แบบจำลอง ขั้นตอนวิธี หรือกลไก ที่สนใจ แล้วศึกษาเรื่องดังกล่าว ตั้งคำถามที่เกี่ยวข้อง ดำเนินการหาคำตอบ และสรุปผล.

หมายเหตุ การตั้งคำถาม ควรเป็นคำถามปลายเปิด ซึ่งจะนำไปสู่คำตอบที่น่าสนใจ เช่น หากสนใจโครงสร้างของแบบจำลองความจำระยะสั้น แทนที่จะตั้งคำถามว่า “หากตัดประตูลืมออกไปแล้ว แบบจำลองจะยังทำงานได้หรือไม่?” ซึ่งคำตอบจะเป็น แค่ ใช่หรือไม่ใช่. คำถามแบบนี้ ไม่น่าสนใจ. คำถามที่ดีกว่า อาจจะเป็น “ประตูลืม ช่วยการทำงานในกรณีกับข้อมูลลักษณะแบบไหน และช่วยได้มากน้อยเท่าไรในแต่ละกรณี เมื่อวัดผลโดยสมบูรณ์ และเมื่อเปรียบเทียบกับประตูอื่น ๆ?” ซึ่งเป็นคำถามปลายเปิด และจะนำไปสู่คำตอบที่เดาได้ยาก มีความลึก น่าสนใจ และตัวคำตอบเอง ก็จะมีประโยชน์มากกว่าด้วย. กฎทั่ว ๆ ไป คือ หากคำถามใด สามารถตอบได้เลย โดยไม่ต้องทำการศึกษาเพิ่มเติม หรือศึกษาเพียงเล็กน้อย หรือ เดาคำตอบได้ง่าย ๆ คำถามนั้นไม่น่าสนใจ.