2 พื้นฐาน

2.1.1.0.1 ความเป็นอิสระเชิงเส้น.

สังเกตว่า ระบบสมการในตัวอย่างข้างต้น (สมการ \(\eqref{eq: lin alg ex 1}\) ถึง \(\eqref{eq: lin alg ex 3}\)) มีสามสมการ และมีตัวแปรที่ไม่ทราบค่า (unknown variables) สามตัว ซึ่งทำให้เมทริกซ์สัมประสิทธิ์ \(\boldsymbol{A}\) (สมการ \(\eqref{eq: lin alg matrix example}\)) มีจำนวนแถวเท่ากับจำนวนสดมภ์ ซึ่งเรียกว่า เมทริกซ์จตุรัส (square matrix).

โดยทั่วไปแล้ว ถ้าหากมีจำนวนสมการน้อยเกินไป (จำนวนแถวของเมทริกซ์ น้อยกว่า จำนวนสดมภ์ หรือ เมทริกซ์ที่มีสัดส่วนเตี้ยกว้าง) คำตอบของระบบสมการจะมีได้หลายค่า เช่น ตัวอย่างระบบสมการ \[\begin{eqnarray} x + y + z &=& 6 \nonumber \\ 2 x + 2 y - z &=& 3 \nonumber \end{eqnarray}\] จะได้ \[\begin{eqnarray} \boldsymbol{A} = \begin{bmatrix} 1 & 1 & 1 \\ 2 & 2 & -1 \end{bmatrix} \mbox{ เวกเตอร์ตัวแปร } \boldsymbol{x} = \begin{bmatrix} x \\ y \\ z \end{bmatrix} \mbox{ และเวกเตอร์ค่าคงที่ } \boldsymbol{b} = \begin{bmatrix} 6 \\ 3 \end{bmatrix} \nonumber \end{eqnarray}\] ซึ่งมีคำตอบหลายชุด เช่น \(x = 1, y = 2, z = 3\) หรือ \(x = 2, y = 1, z = 3\) หรือ \(x = 3, y = 0, z = 3\) หรือ \(x = 2.5, y = 0.5, z = 3\) เป็นต้น. (จริง ๆ คือ ทุกชุดค่า ที่ \(x + y = 3\) และ \(z = 3\) สามารถเป็นคำตอบได้ทั้งหมด)

แต่หากมีจำนวนสมการน้อยเกินไป (จำนวนแถวของเมทริกซ์ มากกว่า จำนวนสดมภ์ หรือ เมทริกซ์ที่มีสัดส่วนสูงแคบ) อาจจะไม่สามารถหาคำตอบของระบบสมการได้ เช่น ตัวอย่างระบบสมการ \[\begin{eqnarray} x + y + z &=& 6 \label{eq: lin alg example long mat 1} \\ 2 x + 2 y - z &=& 3 \label{eq: lin alg example long mat 2} \\ y + z &=& 5 \label{eq: lin alg example long mat 3} \\ x + z &=& 5 \label{eq: lin alg example long mat 4} \end{eqnarray}\] จะได้ \[\begin{eqnarray} \boldsymbol{A} = \begin{bmatrix} 1 & 1 & 1 \\ 2 & 2 & -1 \\ 0 & 1 & 1 \\ 1 & 0 & 1 \end{bmatrix} \mbox{ เวกเตอร์ตัวแปร } \boldsymbol{x} = \begin{bmatrix} x \\ y \\ z \end{bmatrix} \mbox{ และเวกเตอร์ค่าคงที่ } \boldsymbol{b} = \begin{bmatrix} 6 \\ 3 \\ 5 \\ 5 \end{bmatrix} \nonumber \end{eqnarray}\] ซึ่งไม่สามารถหาคำตอบของสมการได้ (สังเกตว่า \(x = 1, y = 2, z = 3\) ที่เป็นคำตอบของสามสมการแรก  \(\eqref{eq: lin alg example long mat 1}\) ถึง \(\eqref{eq: lin alg example long mat 3}\) ขัดแย้งกับสมการที่สี่ \(\eqref{eq: lin alg example long mat 4}\))

2.1.1.0.2 เมทริกซ์เอกฐาน.

ถึงแม้ เมทริกซ์จะเป็นเมทริกซ์จตุรัส ก็ไม่ใช่ทุกเมทริกซ์จตุรัส ที่จะสามารถหาเมทริกซ์ผกผันคู่ของมันได้. เมทริกซ์ที่หาคู่ผกผันไม่ได้ จะเรียกว่า เมทริกซ์เอกฐาน (singular matrix). เช่น ตัวอย่างระบบสมการ \[\begin{eqnarray} x + y + z &=& 6 \label{eq: lin alg example singular 1} \\ 2 x + 2 y + 2 z &=& 12 \label{eq: lin alg example singular 2} \\ y + z &=& 5 \label{eq: lin alg example singular 3} \end{eqnarray}\] จะได้ \[\begin{eqnarray} \boldsymbol{A} = \begin{bmatrix} 1 & 1 & 1 \\ 2 & 2 & 2 \\ 0 & 1 & 1 \end{bmatrix} \mbox{ เวกเตอร์ตัวแปร } \boldsymbol{x} = \begin{bmatrix} x \\ y \\ z \end{bmatrix} \mbox{ และเวกเตอร์ค่าคงที่ } \boldsymbol{b} = \begin{bmatrix} 6 \\ 12 \\ 5 \end{bmatrix} \nonumber \end{eqnarray}\] เมทริกซ์สัมประสิทธิ์ที่ได้จะเป็นเมทริกซ์เอกฐาน. สังเกต สมการแรก \(\eqref{eq: lin alg example singular 1}\) กับสมการที่สอง \(\eqref{eq: lin alg example singular 2}\) จะเห็นว่า สมการที่สอง มีค่าเท่ากับสมการแรกคูณสอง ซึ่งหมายความว่า ถึงแม้จะมีสองสมการ แต่ก็ให้ข้อมูลเทียบเท่ากับการมีแค่สมการเดียว และสัมประสิทธิ์ของสมการ ทำให้ \(\boldsymbol{A}_{1,:}\) และ \(\boldsymbol{A}_{2,:}\) ไม่เป็นอิสระเชิงเส้นแก่กัน. (ดูแบบฝึกหัด [ex: lin alg lin equation nxn repeat column] สำหรับตัวอย่างของสดมภ์ไม่เป็นอิสระเชิงเส้นแก่กัน)

เซตของเวกเตอร์ \(\{\boldsymbol{v}_1, \boldsymbol{v}_2, \ldots, \boldsymbol{v}_k\}\) จะเป็นอิสระเชิงเส้นกัน (linearly independent) ถ้า \[\begin{eqnarray} a_1 \boldsymbol{v}_1 + a_2 \boldsymbol{v}_2 + \ldots + a_k \boldsymbol{v}_k = \boldsymbol{0} \nonumber \end{eqnarray}\] ก็ต่อเมื่อ ทุก ๆ ค่าสัมประสิทธิ์ \(a_1, \ldots, a_k\) ต้องเป็นศูนย์ทั้งหมดเท่านั้น.

นอกจากความสัมพันธ์เชิงเส้นระหว่างเวกเตอร์แล้ว ถ้ามีสเกล่าร์ \(a_1, a_2, \ldots, a_k\) ที่ทำให้ \(\boldsymbol{v} = a_1 \boldsymbol{v}_1 + a_2 \boldsymbol{v}_2 + \ldots + a_k \boldsymbol{v}_k\) แล้วจะเรียกว่า \(\boldsymbol{v}\) เป็นผลรวมเชิงเส้น ของ \(\boldsymbol{v}_1, \boldsymbol{v}_2, \ldots, \boldsymbol{v}_k\). การที่แถวใดของเมทริกซ์ เป็นผลรวมเชิงเส้นของแถวอื่น ๆ ก็จะทำให้เมทริกซ์เป็นเอกฐาน.

2.1.1.0.3 ดีเทอร์มิแนนต์.

ลักษณะเฉพาะที่สำคัญอย่างหนึ่งของเมทริกซ์จตุรัส คือ ดีเทอร์มิแนนต์ (determinant). ค่าของดีเทอร์มิแนนต์สามารถช่วยบอกได้ว่าเมทริกซ์จตุรัสนั้นเป็นเอกฐานหรือไม่.

ดีเทอร์มิแนนต์ของเมทริกซ์จตุรัส \(\boldsymbol{A}\) ขนาดมิติ \(n \times n\) เป็นค่าสเกล่าร์ และใช้สัญญลักษณ์ เช่น \(|\boldsymbol{A}|\) หรือ \(\mathrm{det}\; \boldsymbol{A}\) โดย ดีเทอร์มิแนนต์ มีคุณสมบัติ

1. ดีเทอร์มิแนนต์ ของเมทริกซ์ \(\boldsymbol{A}\) เป็นฟังก์ชันเชิงเส้นของแต่ละสดมภ์ของ \(\boldsymbol{A}\). นั่นคือ ถ้า \(\boldsymbol{A}=[\boldsymbol{a}_1, \; \boldsymbol{a}_2, \; \ldots, \; \boldsymbol{a}_n]\) เมื่อ \(\boldsymbol{a}_i\) เป็นสดมภ์ที่ \(i^{th}\) ของเมทริกซ์ แล้ว \[\begin{eqnarray} \;& \; & \mathrm{det}\; [\boldsymbol{a}_1, \; \ldots, \boldsymbol{a}_{k-1}, \; \alpha \boldsymbol{a}_k + \beta \boldsymbol{v}, \; \boldsymbol{a}_{k+1}, \; \ldots, \; \boldsymbol{a}_n] \nonumber \\ \;& \; & = \alpha \cdot \mathrm{det}\; [\boldsymbol{a}_1, \; \ldots, \boldsymbol{a}_{k-1}, \; \boldsymbol{a}_k, \; \boldsymbol{a}_{k+1}, \; \ldots, \; \boldsymbol{a}_n] \nonumber \\ \;& \; & + \beta \cdot \mathrm{det}\; [\boldsymbol{a}_1, \; \ldots, \boldsymbol{a}_{k-1}, \; \boldsymbol{v}, \; \boldsymbol{a}_{k+1}, \; \ldots, \; \boldsymbol{a}_n] \label{eq: lin alg det prop 1} \end{eqnarray}\] เมื่อ \(\alpha\) และ \(\beta\) เป็นจำนวนจริงใด ๆ และ \(\boldsymbol{v} \in \mathbb{R}^n\) เป็นเวกเตอร์ที่มีส่วนประกอบเป็น \(n\) ค่าจริงใด ๆ

2. ถ้ามีสดมภ์ที่มีค่าเท่ากัน ค่าดีเทอร์มิแนนต์จะเป็นศูนย์. นั่นคือ ถ้ามี \(\boldsymbol{a}_i = \boldsymbol{a}_j\) โดย \(i \neq j\) แล้ว \[\begin{eqnarray} \mathrm{det}\; [\boldsymbol{a}_1, \; \ldots, \boldsymbol{a}_i, \; \ldots, \boldsymbol{a}_j, \; \ldots, \; \boldsymbol{a}_n] = \mathrm{det}\; [\boldsymbol{a}_1, \; \ldots, \boldsymbol{a}_i, \; \ldots, \boldsymbol{a}_i, \; \ldots, \; \boldsymbol{a}_n] = 0 \label{eq: lin alg det prop 2} \end{eqnarray}\]

3. ค่าดีเทอร์มิแนนต์ ของเมทริกซ์เอกลักษณ์ เป็นหนึ่ง. นั่นคือ \[\begin{eqnarray} \mathrm{det}\; \boldsymbol{I} = 1 \label{eq: lin alg det prop 3} \end{eqnarray}\]

จากคุณสมบัติพื้นฐานทั้งสาม ทฤษฎีการขยายปัจจัยร่วม (cofactor expansion theorem) ถูกพัฒนาขึ้น และ ค่าดีเทอร์มิแนนต์ ของเมทริกซ์ \(\boldsymbol{A}\) ขนาดมิติ \(n \times n\) สามารถคำนวณได้จาก \[\begin{eqnarray} \mathrm{det}\; \boldsymbol{A} &=& A_{k1} \cdot C_{k1} + A_{k2} \cdot C_{k2} + \ldots + A_{kn} \cdot C_{kn} \nonumber \\ &=& A_{1k} \cdot C_{1k} + A_{2k} \cdot C_{2k} + \ldots + A_{nk} \cdot C_{nk} \nonumber \\ &=& \sum_j A_{kj} \cdot C_{kj} = \sum_j A_{ik} \cdot C_{ik} \label{eq: lin alg det cofactor} \end{eqnarray}\] เมื่อ \(k\) เป็นดัชนีที่เลือกตรึงให้คงที่ (\(k \in \{1, \ldots, n\}\)) และ ปัจจัยร่วม (cofactor) \(C_{ij} = (-1)^{i+j} \cdot M_{ij}\) โดย \(M_{ij}\) เป็นค่าดีเทอร์มิแนนต์ของเมทริกซ์ย่อยจาก \(\boldsymbol{A}\) โดยการตัดแถวที่ \(i\) และตัดสดมภ์ที่ \(j\) ออก. ตัวอย่าง \[\begin{eqnarray} \boldsymbol{A} = \begin{bmatrix} 1 & 4 & 3 \\ 8 & 2 & 7 \\ 0 & 5 & 9 \end{bmatrix} \mbox{ เมื่อเลือกตรึงแถว } k = 1 \mbox{ จะได้ } \mathrm{det}\; \boldsymbol{A} = 1 \cdot \begin{vmatrix} 2 & 7 \\ 5 & 9 \end{vmatrix} -4 \cdot \begin{vmatrix} 8 & 7 \\ 0 & 9 \end{vmatrix} + 3 \cdot \begin{vmatrix} 8 & 2 \\ 0 & 5 \end{vmatrix} \nonumber \end{eqnarray}\] และ \[\begin{vmatrix} 2 & 7 \\ 5 & 9 \end{vmatrix} = 2 \cdot |9| - 7 \cdot |5| = -17. \; \begin{vmatrix} 8 & 7 \\ 0 & 9 \end{vmatrix} = 8 \cdot |9| - 7 \cdot |0| = 72. \; \begin{vmatrix} 8 & 2 \\ 0 & 5 \end{vmatrix} = 8 \cdot |5| - 2 \cdot |0| = 40.\] ดังนั้น \(\mathrm{det}\; \boldsymbol{A} = -17 -4 \cdot 72 + 3 \cdot 40 = -185.\)

คุณสมบัติที่ตามมาของดีเทอร์มิแนนต์ มีหลายอย่าง แต่ที่สำคัญ คือ \(\mathrm{det}\; \boldsymbol{A} = \mathrm{det}\; \boldsymbol{A}^T\) ดังนั้น การที่ระบบสมการมีสมการที่ไม่เป็นอิสระเชิงเส้นต่อกัน (แถวของเมทริกซ์ ไม่เป็นอิสระเชิงเส้นต่อกัน) จะทำให้ เมทริกซ์สัมประสิทธิ์ มีค่าดีเทอร์มิแนนต์เป็นศูนย์ ซึ่งหมายถึง เมทริกซ์เป็นเอกฐาน.

2.1.1.0.4 นอร์ม.

ดีเทอร์มิแนนต์่ บอกคุณสมบัติที่สำคัญของเมทริกซ์จัตุรัส. เวกเตอร์ก็ต้องการค่าบอกคุณสมบัติ. นอร์ม (norm) เป็นการวัดขนาดของเวกเตอร์. จำนวนส่วนประกอบของเวกเตอร์ อาจจะบอกขนาดมิติปริภูมิของเวกเตอร์ แต่นอร์มจะบอกขนาดของเวกเตอร์ และเป็นคุณสมบัติที่สำคัญอันหนึ่งของเวกเตอร์ สามารถใช้เปรียบเทียบสองเวกเตอร์ที่อยู่ปริภูมิค่าเดียวกัน (เวกเตอร์ที่อยู่ปริภูมิค่าเดียวกัน จะมีจำนวนส่วนประกอบเท่ากัน แต่อาจมีขนาดไม่เท่ากัน). นอร์มอาจวัดได้หลายวิธี แต่วิธีที่นิยม คือ \(L^p\) นอร์ม โดย \(L^p\) นอร์ม กำหนดเป็น \[\begin{eqnarray} \|\boldsymbol{x}\|_p = \left(\sum_i |x_i|^p \right)^{\frac{1}{p}} \end{eqnarray}\] เมื่อ \(p \in \mathbb{R}, p \geq 1\).

งานส่วนใหญ่มักเลือกใช้ \(L^2\) นอร์ม (\(p=2\)) หรือเรียกว่า ยูคลีเดียนนอร์ม (Euclidean norm) หรือ ระยะทางยูคลีเดียน (Euclidean distance) ที่ใช้สัญกรณ์ \(\|\boldsymbol{x}\|_2\). ความนิยมของ \(L^2\) นอร์ม ทำให้บ่อยครั้ง สัญกรณ์อาจละตัวห้อยออก เป็น \(\|\boldsymbol{x}\|\). นอกจากนั้น บางครั้ง เพื่อความสะดวกและลดการคำนวณ ค่า \(L^2\) นอร์มกำลังสอง ได้แก่ \(\|\boldsymbol{x}\|_2^2 = \sum_i x_i^2 = \boldsymbol{x}^T \cdot \boldsymbol{x}\) ก็นิยมใช้วัดขนาดเวกเตอร์

ตัวอย่างเช่น \(\boldsymbol{v} = [0.5,\; -8, \; 11]^T\) จะมี \(L^2\) นอร์มเป็น \(\|\boldsymbol{v}\| = \sqrt{\sum_i v_i^2}\) \(= \sqrt{0.25 + 64 + 121}\) \(= 13.61\). สังเกตว่า ส่วนประกอบที่มีค่าใกล้ ๆ ศูนย์ จะมีขนาดผลเล็กลง เมื่อคำนวณด้วย \(L^2\) นอร์ม (สังเกต ส่วนประกอบ \(0.5\) มีขนาดผลลดลงเป็น \(0.25\)) ดังนั้น สำหรับบางภาระกิจที่ไม่ต้องการพฤติกรรมเช่นนี้ แต่ต้องการ พฤติกรรมที่ผลของส่วนประกอบมีอัตราส่วนคงที่ ซึ่งจะช่วยให้เห็นความแตกต่างระหว่างศูนย์ กับค่าที่ไม่เป็นศูนย์ได้ดีกว่า ภาระกิจเหล่านั้นอาจเลือกใช้ \(L^1\) นอร์ม ตัวอย่างเช่น \(\|\boldsymbol{v}\|_1\) \(= \sum_i |v_i|\) \(=0.5 + 8 + 11\) = \(19.5\).

เวกเตอร์ใดก็ตามที่มี \(L^2\) นอร์มเป็นหนึ่ง จะเรียกว่า เวกเตอร์หนึ่งหน่วย (unit vector) นั่นคือ ถ้า \(\| \boldsymbol{u} \|_2 = 1\) จะเรียกว่า \(\boldsymbol{u}\) เป็นเวกเตอร์หนึ่งหน่วย. ตัวอย่าง เช่น เวกเตอร์ \(\boldsymbol{v}_1 = [1, 0, 0]^T\) เวกเตอร์ \(\boldsymbol{v}_2 = [0, 0, 1]^T\) และเวกเตอร์ \(\boldsymbol{v}_3 = [0.7428, 0.5571, -0.3714]^T\) เป็นเวกเตอร์หนึ่งหน่วย. แต่เวกเตอร์ \(\boldsymbol{v}_4 = [1, 1, 0]^T\) (ขนาดเป็น \(1.414\)) และเวกเตอร์ \(\boldsymbol{v}_5 = [0.7, 0.2, 0.1]^T\) (ขนาดเป็น \(0.735\)) ไม่ใช่เวกเตอร์หนึ่งหน่วย.

เวกเตอร์ใด ๆ \(\boldsymbol{v} \in \mathbb{R}^n\) จะมีเวกเตอร์หนึ่งหน่วย \(\boldsymbol{u} \in \mathbb{R}^n\) ที่ชี้ไปทิศทางเดียวกับมัน และ \[\begin{eqnarray} \boldsymbol{u} = \frac{\boldsymbol{v}}{\|\boldsymbol{v}\|} \label{eq: linalg unit vec} \end{eqnarray}\] จากตัวอย่างข้างต้น เวกเตอร์ \(\boldsymbol{v}_4 = [1, 1, 0]^T\) มีีเวกเตอร์หนึ่งหน่วย \([ 0.7071, 0.7071, 0]^T\) ที่ชี้ไปทางเดียวกับมัน และเวกเตอร์ \(\boldsymbol{v}_5 = [0.7, 0.2, 0.1]^T\) มีีเวกเตอร์หนึ่งหน่วย \([0.9526, 0.2722, 0.1361]^T\) ที่ชี้ไปทางเดียวกับมัน.

2.1.2.0.1 ปริภูมิย่อย.

เซตย่อย (subset) \(\rho\) ของ \(\mathbb{R}^n\) จะเป็นปริภูมิย่อย (subspace) ของ \(\mathbb{R}^n\) เมื่อ \(\rho\) เป็นเซตปิด (closed set) ภายใต้การดำเนินการบวกของเวกเตอร์ และการคูณกับสเกล่าร์. นั่นคือ ถ้า \(\boldsymbol{a}\) และ \(\boldsymbol{b}\) เป็นเวกเตอร์ในปริภูมิย่อย \(\rho\) แล้ว \(\boldsymbol{a} + \boldsymbol{b}\) และ \(\alpha \boldsymbol{a}\) ก็ต้องอยู่ในปริภูมิย่อย \(\rho\) สำหรับทุก ๆ ค่า \(\alpha\).

ตัวอย่าง เช่น จากรูป 1.3 เวกเตอร์ \(\boldsymbol{x}\) อยู่ใน \(\mathbb{R}^2\) และเวกเตอร์ \(\boldsymbol{u}\) และเวกเตอร์ \(\boldsymbol{v}\) และเวกเตอร์ \(\boldsymbol{a}\) และเวกเตอร์ \(\boldsymbol{b}\) ก็อยู่ในปริภูมิ \(\mathbb{R}^2\) ด้วย. สมมติให้ \(\rho_1\) เป็นปริภูมิย่อยของ \(\mathbb{R}^2\) โดยมี เวกเตอร์ \(\boldsymbol{u}\) อยู่ใน \(\rho_1\) แต่ไม่มีเวกเตอร์ \(\boldsymbol{v}\) ในปริภูมิย่อย \(\rho_1\). นั่นคือ ปริภูมิย่อย \(\rho_1\) เป็นเซตปิด สำหรับ เวกเตอร์ในแนว \(\boldsymbol{u}\) เช่น \(\boldsymbol{u}\) และ \(\boldsymbol{a}\) อยู่ใน \(\rho_1\).

มองจากอีกมุมหนึ่ง ถ้ากำหนดให้ \(\{\boldsymbol{c}_1, \boldsymbol{c}_2, \ldots, \boldsymbol{c}_k\}\) เป็นเซตของเวกเตอร์ใด ๆ ในปริภูมิ \(\mathbb{R}^n\) แล้ว ผลรวมเชิงเส้นทุกแบบของเวกเตอร์เหล่านี้ จะเป็นเซตของเวกเตอร์ ที่เรียกว่า การแผ่ทั่ว (span) ของเวกเตอร์ \(\boldsymbol{c}_1, \boldsymbol{c}_2, \ldots, \boldsymbol{c}_k\) และใช้สัญกรณ์ ³

\[\begin{eqnarray} \mathrm{span}[\boldsymbol{c}_1, \; \boldsymbol{c}_2, \; \ldots, \; \boldsymbol{c}_k] = \left\{ \sum_{i-1}^k \alpha_i \boldsymbol{c}_i : \alpha_1, \ldots, \alpha_k \in \mathbb{R} \right\} \end{eqnarray}\] และ ปริภูมิย่อยคือ การแผ่ทั่วของเซตของเวกเตอร์. ตัวอย่างเช่น ปริภูมิย่อย \(\rho_1\) ในตัวอย่างข้างต้น ก็คือการแผ่ทั่วของ \(\{\boldsymbol{u}\}\) และปริภูมิ \(\mathbb{R}^2\) ก็คือการแผ่ทั่วของ \(\{\boldsymbol{u}, \boldsymbol{v}\}\).

สังเกตว่าในขณะที่ การอ้างถึงตำแหน่งบนปริภูมิ \(\mathbb{R}^2\) ต้องการตัวเลข \(2\) ตัว (สองมิติปริภูมิค่า) แต่การอ้างถึงตำแหน่งบนปริภูมิย่อย \(\rho_1\) ต้องการตัวเลขแค่ตัวเดียว (ปริภูมิย่อย มีหนึ่งมิติปริภูมิค่า). จำนวนมิติปริภูมิค่า ของปริภูมิใด ๆ (รวมถึงปริภูมิย่อยใด ๆ) จะเท่ากับจำนวนของเวกเตอร์ที่เป็นอิสระเชิงเส้นกัน ที่อยู่ในปริภูมิ. ตัวอย่างเช่น ปริภูมิ \(\mathbb{R}^2\) มีสองเวกเตอร์ที่เป็นอิสระเชิงเส้น ไม่ว่าจะเลือก \(\boldsymbol{u}\) กับ \(\boldsymbol{v}\) หรือเลือกชุด \([1, 0]^T\) กับ \([1, 1]^T\) หรือเลือกชุด \([1, -1]^T\) กับ \([0, 1]^T\) หรือชุดอื่น ๆ ของเวกเตอร์สองตัวที่ตั้งฉากกัน. ดังนั้น \(\mathbb{R}^2\) จึงมีสองมิติ(ปริภูมิค่า). ปริภูมิ \(\rho_1\) มีแค่เวกเตอร์เดียวที่เป็นอิสระเชิงเส้น ดังนั้น \(\rho_1\) จึงมีหนึ่งมิติ(ปริภูมิค่า).

2.1.2.0.2 การแยกส่วนประกอบเชิงตั้งฉาก.

ถ้ากำหนด \(\rho\) เป็นปริภูมิย่อยของ \(\mathbb{R}^n\) และกำหนดให้ \(\rho^\perp\) เป็นส่วนเติมเต็มเชิงตั้งฉาก (orthogonal complement) ของ \(\rho\) โดย \(\rho^\perp\) ประกอบด้วยเวกเตอร์ทั้งหมด ที่แต่ละเวกเตอร์ตั้งฉากกับทุกเวกเตอร์ใน \(\rho\). นั่นคือ \[\begin{eqnarray} \rho^\perp = \{ \boldsymbol{x} : \boldsymbol{x}^T \boldsymbol{v} = 0 \mbox{ for all } \boldsymbol{v} \in \rho \} \end{eqnarray}\]

เซต \(\rho^\perp\) เองก็เป็นปริภูมิย่อยของ \(\mathbb{R}^n\) ด้วย. เวกเตอร์ทั้งหมดจากทั้งสองเซต \(\rho\) และ \(\rho^\perp\) แผ่ทั่ว \(\mathbb{R}^n\). นั่นคือ เวกเตอร์ใด ๆ \(\boldsymbol{x} \in \mathbb{R}^n\) สามารถแยกส่วนประกอบออกได้ \[\begin{eqnarray} \boldsymbol{x} = \boldsymbol{x}_1 + \boldsymbol{x}_2 \nonumber \end{eqnarray}\] เมื่อ \(\boldsymbol{x}_1 \in \rho\) และ \(\boldsymbol{x}_2 \in \rho^\perp\). การแยกส่วนประกอบแบบนี้ จะเรียกว่า การแยกส่วนประกอบเชิงตั้งฉาก (orthogonal decomposition) ของ \(\boldsymbol{x}\) ตาม \(\rho\) และ \(\boldsymbol{x}_1\) และ \(\boldsymbol{x}_2\) เป็นภาพฉายตั้งฉาก (orthogonal projections) ของ \(\boldsymbol{x}\) ลงบนปริภูมิย่อย \(\rho\) และ \(\rho^\perp\).

จากตัวอย่างในรูป 1.3 จะเห็นว่า \[\begin{eqnarray} \boldsymbol{x} &=& [3, 4]^T = \boldsymbol{a} + \boldsymbol{b} \nonumber \\ &=& 4.023 \boldsymbol{u} + 2.969 \boldsymbol{v} \nonumber \end{eqnarray}\] หรือ \(\boldsymbol{x}\) ถูกแยกออก เป็น ส่วนประกอบแรก \(4.023\) และส่วนประกอบที่สอง \(2.969\). หัวข้อ [sec: PCA] อภิปรายวิธีการวิเคราะห์ส่วนประกอบหลัก (Principal Component Analysis) ซึ่งเป็นวิธีที่ใช้แนวคิดหลัก จากการฉายภาพเชิงตั้งฉาก เพื่อลดมิติปริภูมิของข้อมูล ซึ่งจะช่วยการประมวลผล และช่วยการนำเสนอภาพของข้อมูลได้

2.1.3.0.1 การหาค่าลักษณะเฉพาะและเวกเตอร์ลักษณะเฉพาะ.

จาก \(\boldsymbol{A} \boldsymbol{v} = \lambda \boldsymbol{v}\) ดังนั้น \((\boldsymbol{A} - \lambda \boldsymbol{I}) \boldsymbol{v} = \boldsymbol{0}\) เมื่อ \(\boldsymbol{I}\) เป็นเมทริกซ์เอกลักษณ์. กรณีที่ \(\boldsymbol{v} = \boldsymbol{0}\) เป็นกรณีที่ชัดเจนแต่ไม่น่าสนใจ (trivial). พิจารณากรณีที่ \(\boldsymbol{v} \neq \boldsymbol{0}\) สำหรับกรณีนี้ \(\mathrm{det} [\boldsymbol{A} - \lambda \boldsymbol{I}] = 0\) (เพราะว่า ถ้าดีเทอร์มิแนนต์นี้ไม่เท่ากับศูนย์ จะแก้สมการได้เป็น \(\boldsymbol{v} = [\boldsymbol{A} - \lambda \boldsymbol{I}]^{-1} \boldsymbol{0} = \boldsymbol{0}\) ซึ่งจะเป็นกรณีแรก ที่ชัดเจนแต่ไม่น่าสนใจ)

จาก \(\mathrm{det} [\boldsymbol{A} - \lambda \boldsymbol{I}] = 0\) แทนค่าและแก้สมการหาค่า \(\lambda\) แล้วใช้ค่า \(\lambda\) ที่ได้แทนค่าลงใน \((\boldsymbol{A} - \lambda \boldsymbol{I}) \boldsymbol{v} = \boldsymbol{0}\) และแก้สมการหาค่าของเวกเตอร์ \(\boldsymbol{v}\).

เช่น จากตัวอย่างข้างต้น \[\begin{eqnarray} \mathrm{det} \begin{bmatrix} 9.8 - \lambda & 3.6 \\ 3.6 & 2.5 - \lambda \end{bmatrix} &=& 0 \nonumber \\ (3.6)(3.6) - (9.8 - \lambda)(2.5 - \lambda) &=& 0 \nonumber \\ \lambda^2 - 12.3 \lambda + 11.54 &=& 0 \nonumber \end{eqnarray}\] จะได้เป็นสมการพหุนาม (polynomial equation) ของตัวแปร \(\lambda\) ที่ในตัวอย่างนี้เป็นสมการกำลังสอง (quadratic equation) ซึ่งมีรูปทั่วไปคือ \(a x^2 + b x + c = 0\) และผลเฉลยของสมการ มีสองค่าคือ \(x_1 = \frac{-b+\sqrt{b^2 - 4 a c}}{2 a}\) และ \(x_2 = \frac{-b-\sqrt{b^2 - 4 a c}}{2 a}\) และเมื่อแทนค่า \(a = 1, b = -12.3, c = 11.54\) แล้วจะได้ค่าลักษณะเฉพาะสองค่าคือ \(\lambda_1 = 11.28\) และ \(\lambda_2 = 1.02\). นำค่าลักษณะเฉพาะแต่ละค่า ไปหาเวกเตอร์ที่คู่กัน ได้แก่ สำหรับ \(\lambda_1 = 11.28\) คำนวณหาเวกเตอร์ลักษณะเฉพาะ \(\boldsymbol{v}_1\) จาก \[\begin{eqnarray} \underbrace{\begin{bmatrix} 9.8 & 3.6 \\ 3.6 & 2.5 \end{bmatrix}}_{\boldsymbol{A}} \cdot \underbrace{\begin{bmatrix} a \\ b \end{bmatrix}}_{\boldsymbol{v}_1} &=& \underbrace{11.28}_{\lambda_1} \cdot \underbrace{\begin{bmatrix} a \\ b \end{bmatrix}}_{\boldsymbol{v}_1} \nonumber \end{eqnarray}\] และจะได้สมการ \[\begin{eqnarray} 9.8 a + 3.6 b &=& 11.28 a \nonumber \\ 3.6 a + 2.5 b &=& 11.28 b \nonumber \end{eqnarray}\] ซึ่งสองสมการนี้ไม่เป็นเชิงเส้นต่อกัน (เพราะว่า นี่คือ กรณี \(\mathrm{det} [\boldsymbol{A} - \lambda \boldsymbol{I}] = 0\)) ดังนั้น คำตอบที่ได้จะไม่ได้มีแค่หนึ่งเดียว. สมมติเลือกสมการแรกมา \(9.8 a + 3.6 b = 11.28 a\) และแก้สมการจะได้ \(b = 0.41 a\) ดังนั้นเวกเตอร์ลักษณะเฉพาะคือ \([1, 0.41]^T\) หรือ \([2, 0.82]^T\) หรือ \([3, 1.32]^T\) หรือ เวกเตอร์ใด ๆ ที่อยู่ในรูป \(\alpha [1, 0.41]^T\) เมื่อ \(\alpha\) เป็นจำนวนจริงใด ๆ ที่ \(\alpha \neq 0\). สังเกตว่า เวกเตอร์ทั้งหมดที่ได้จะชี้ไปทิศทางเดียวกัน (หรือตรงกันข้ามก็ได้ แต่ไม่ชี้ไปทางอื่น) แต่ต่างขนาดกันเท่านั้น.

เพื่อความสะดวก เวกเตอร์ลักษณะเฉพาะมักจะเลือกให้เป็นเวกเตอร์ขนาดหนึ่งหน่วย. ดังนั้น จากเวกเตอร์ \([1, 0.41]^T\) จะได้เวกเตอร์หนึ่งหน่วยเป็น \(\frac{1}{\sqrt{1^2 + 0.41^2}} [1, 0.41]^T\) \(=[0.93, 0.38]^T\). นั่นคือ ได้เวกเตอร์ลักษณะเฉพาะ \(\boldsymbol{v}_1 = [0.93, 0.38]^T\) คู่กับค่าลักษณะเฉพาะ \(\lambda_1 = 11.28\) และในทำนองเดียวกัน ได้เวกเตอร์ลักษณะเฉพาะ \(\boldsymbol{v}_2 = [0.38, -0.93]^T\) คู่กับค่าลักษณะเฉพาะ \(\lambda_2 = 1.02\). หมายเหตุ ถึงแม้จะเลือกเวกเตอร์ลักษณะเฉพาะ ให้เป็นเวกเตอร์หนึ่งหน่วยแล้วก็ตาม แต่เวกเตอร์ลักษณะเฉพาะก็ยังอาจเลือกได้หลายแบบอยู่ เช่น \(\boldsymbol{v}_1 = [-0.93, -0.38]^T\) หรือ \(\boldsymbol{v}_2 = [-0.38, 0.93]^T\) ที่อยู่ในแนวเดียวกัน มีขนาดเป็นหนึ่งเหมือนกัน เพียงแต่มีทิศตรงกันข้าม.

2.2.1.0.1 การดำเนินการเซต.

อินเตอร์เซกชัน (intersection) แทนด้วยสัญกรณ์ เช่น \(A \cap B\) ซึ่งหมายถึง การดำเนินการที่ผลลัพธ์จะเป็นเซตที่มีสมาชิกที่เป็นทุกสมาชิกของ \(A\) และ \(B\) ที่มีค่าเหมือนกัน. นั่นคือ ถ้า \(a \in A\) และ \(b \in B\) และ \(a = b\) แล้ว \(a \in A \cap B\) และในทางกลับกัน ถ้า \(c \in A \cap B\) แล้ว \(c \in A\) และ \(c \in B\).

ยูเนียน (union) แทนด้วยสัญกรณ์ เช่น \(A \cup B\) ซึ่งหมายถึง การดำเนินการที่ผลลัพธ์จะเป็นเซตที่มีสมาชิกทั้งหมดของ \(A\) และสมาชิกทั้งหมดของ \(B\). นั่นคือ ถ้า \(a \in A\) แล้ว \(a \in A \cup B\) และถ้า \(b \in B\) แล้ว \(b \in A \cup B\) และในทางกลับกัน ถ้า \(c \in A \cup B\) แล้ว \(c \in A\) หรือ \(c \in B\) หรือทั้ง \(c \in A\) และ \(c \in B\).

ผลต่างเซต (set difference) แทนด้วยสัญกรณ์ เช่น \(A \setminus B\) ซึ่งหมายถึง การดำเนินการที่ผลลัพธ์จะเป็น เซตที่สมาชิกทั้งหมด เป็นสมาชิกของ \(A\) แต่ไม่มีสักตัวที่เป็นสมาชิกของ \(B\). นั่นคือ ถ้า \(c \in A \setminus B\) แล้ว \(c \in A\) และ \(c \notin B\) และในทางกลับกัน ถ้า \(a \in A\) และ \(a \notin B\) แล้ว \(a \in A \setminus B\).

ส่วนเติมเต็ม (complement) แทนด้วยสัญกรณ์ เช่น \(A^c\) ซึ่งหมายถึง เซตของค่าทั้งหมดที่เป็นไปได้ แต่ไม่ได้เป็นสมาชิกของ \(A\). นั่นคือ \(A^c = \Omega \setminus A\).

ตัวอย่างเช่น ถ้า \(A = \{1, 3, 8, 9, 12, 16, 20\}\) และ \(B = \{7, 8, 12, 20, 32\}\) แล้วจะได้
\(A \cap B = \{8, 12, 20\}\) และ \(A \cup B = \{1, 3, 7, 8, 9, 12, 16, 20, 32\}\) และ \(A \setminus B = \{1, 3, 9, 16\}\) และ \(B \setminus A = \{7, 32\}\).

2.2.2.0.1 มุมมองของความน่าจะเป็น.

เหตุการณ์อาจมองได้ในหลาย ๆ ระดับ เช่น เหตุการณ์ระดับล่าง ได้แก่ เหตุการณ์ที่หยิบได้ลูกบอลลูกที่หนึ่ง \(a_1\) (ซึ่งเป็นสีเขียว) ไปจนถึง เหตุการณ์ที่หยิบได้ลูกบอลลูกที่สิบสอง \(a_{12}\) (ซึ่งเป็นสีส้ม) หรือเหตุการณ์ระดับที่สูงขึ้น ได้แก่ เหตุการณ์ที่หยิบได้ลูกบอลสีเขียว \(A\) เหตุการณ์ที่หยิบได้ลูกบอลสีส้ม \(B\) เป็นต้น. ทฤษฎีความน่าจะเป็นมองเซตจากมุมมองที่ต่างออกไป ดังแสดงในตาราง 1.1.

[tbl: prob set jargon]

[tbl: prob demo N(A)/N]

(a)	(b)

2.2.2.0.2 คุณสมบัติของความน่าจะเป็น.

ความน่าจะเป็นมีคุณสมบัติที่น่าสนใจหลายอย่าง เช่น ความน่าจะเป็นที่จะเกิดผลลัพธ์จากกลุ่มผลลัพธ์ทั้งหมดทุกแบบที่เป็นไปได้ คือ ต้องพบแน่นอน ความน่าจะเป็นมีค่าสูงสุด. นั่นคือ \(\mathrm{Pr}(\Omega) = 1\). ความน่าจะเป็นที่จะพบเหตุการณ์ที่เป็นไปไม่ได้ คือ ต้องไม่พบแน่นอน ความน่าจะเป็นมีค่าต่ำสุด. นั่นคือ \(\mathrm{Pr}(\emptyset) = 0\). สัมพันธ์ด้านความน่าจะเป็นของเหตุการณ์ \(A\) กับ \(A^c\) คือ \(\mathrm{Pr}(A) = 1 - p(A^c)\) และ \(\mathrm{Pr}(A \cup A^c) = 1\) และ \(\mathrm{Pr}(A \cap A^c) = 0\). ความน่าจะเป็นของยูเนียน คือ \(\mathrm{Pr}(A \cup B) = \mathrm{Pr}(A \setminus B) + \mathrm{Pr}(B \setminus A) + \mathrm{Pr}(A \cap B)\) หรือ \(\mathrm{Pr}(A \cup B) = \mathrm{Pr}(A) + \mathrm{Pr}(B) - \mathrm{Pr}(A \cap B)\). ความน่าจะเป็นของผลต่าง คือ \(\mathrm{Pr}(A \setminus B) = \mathrm{Pr}(A) - \mathrm{Pr}(A \cap B)\).

2.2.2.0.3 เหตุการณ์ที่ไม่มีส่วนร่วมกัน.

ถ้า \(A \cap B = \emptyset\) แล้วจะเรียกว่า เหตุการณ์ \(A\) และเหตุการณ์ \(B\) ไม่มีส่วนร่วมกัน (disjoint) และยูเนียนของเหตุการณ์ที่ไม่มีส่วนร่วมกัน จะมีความน่าจะเป็น \(\mathrm{Pr}(A \cup B) = \mathrm{Pr}(A) + \mathrm{Pr}(B)\).

2.2.2.0.4 กฎของการรวมความน่าจะเป็น.

ถ้า \(B_1 \cup B_2 \cup \ldots \cup B_n = \Omega\) และ \(B_i \cap B_j = \emptyset\) สำหรับทุกๆค่าของ \(i \neq j\) ตั้งแต่ \(1, \ldots, n\) แล้ว กฎของความน่าจะเป็นรวม (law of total probability) กล่าวว่า \[\begin{eqnarray} \mathrm{Pr}(A) = \sum_{i=1}^n \mathrm{Pr}(A \cap B_i) \label{eq: prob law of total prob} \end{eqnarray}\] จากกฎของความน่าจะเป็นรวม กรณีพิเศษ คือ \(\mathrm{Pr}(A) = \mathrm{Pr}(A \cap B) + \mathrm{Pr}(A \cap B^c)\).

2.2.2.0.5 ตัวแปรสุ่ม.

เพื่อความสะดวก เหตุการณ์อาจถูกระบุด้วย ตัวแปรสุ่ม เช่น จากตัวอย่าง เหตุการณ์ที่หยิบได้ลูกบอลสีเขียว และเหตุการณ์ที่หยิบได้ลูกบอลสีส้ม จะสามารถถูกอ้างถึงได้สะดวก และชัดเจนกว่า ถ้ากำหนด ตัวแปรสุ่ม \(B\) แทนสีของลูกบอลที่ถูกสุ่มหยิบขึ้นมา. เหตุการณ์ที่หยิบได้ลูกบอลสีเขียว สามารถ เขียนเป็น \(B = 0\) เมื่อ \(0\) แทนสีเขียว และ เหตุการณ์ที่หยิบได้ลูกบอลสีส้ม สามารถ เขียนเป็น \(B = 1\) เมื่อ \(1\) แทนสีส้ม. ตัวแปรสุ่ม (random variable) อาจถูกนิยามว่า เป็นตัวแปรที่ค่าของมันขึ้นกับผลลัพธ์ของเรื่องที่สนใจ เมื่อเรื่องที่สนใจเป็นกระบวนการที่มีความไม่แน่นอนอยู่.

หมายเหตุ ตัวแปรสุ่มเป็นการแทนเหตุการณ์ด้วยค่าตัวเลข โดยสำหรับธรรมชาติของเหตุการณ์ที่ไม่ได้เป็นตัวเลข การใช้งานตัวแปรสุ่มนี้อาจทำได้โดยการกำหนดความหมายให้กับตัวเลข เช่น \(0\) แทนสีเขียว และ \(1\) แทนสีส้ม. แต่หลาย ๆ ครั้งเพื่อความสะดวกและชัดเจน อาจมีการใช้สัญลักษณ์ เช่น \(\mbox{`g'}\) แทนตัวเลข \(0\) ในกรณีที่ระบุถึงสีเขียว.

ฟังก์ชันการแจกแจง (distribution function) ของตัวแปรสุ่ม \(X\) คือฟังก์ชัน \(F: \mathbb{R} \rightarrow [0,1]\) โดย \(F(x) = \mathrm{Pr}(X \leq x)\).

ตัวแปรสุ่มอาจมีได้หลายแบบขึ้นกับลักษณะของค่าของมัน ซึ่งค่าของมันก็คือลักษณะของผลลัพธ์ที่เป็นไปได้. ตัวแปรสุ่มวิยุต (discrete random variable) คือตัวแปรสุ่มที่ค่าของมัน อยู่ในเซตจำกัด (finite set) หรืออยู่ในเซตไม่จำกัดแต่นับได้ (countably infinite set). ตัวอย่าง ตัวแปรสุ่มสีของลูกบอล \(B\) นี้เป็นตัวแปรสุ่มวิยุต เนื่องจากค่าของมันมาจากเซตจำกัด ได้แก่ \(\{0, 1\}\) (มีจำนวนสมาชิกน้อยกว่าค่าอนันต์ \(\infty\)). ตัวแปรสุ่มจำนวนต้นทุเรียน ก็เป็นตัวแปรสุ่มวิยุต เนื่องจากค่าของมันมาจากเซตไม่จำกัดแต่นับได้ ได้แก่ \(\{0, 1, 2, 3, \ldots \}\). แต่ตัวแปรสุ่มปริมาณน้ำในอ่างเก็บน้ำ ไม่ใช่ตัวแปรสุ่มวิยุต เพราะว่า ค่าของมันมาจาก \(\mathbb{R}^+\) ตัวแปรสุ่มปริมาณน้ำในอ่างเก็บน้ำ จะเป็นตัวแปรสุ่มต่อเนื่อง. หัวข้อ 1.2.4 อภิปรายตัวแปรสุ่มต่อเนื่องเพิ่มเติม.

ตัวแปรสุ่มวิยุต \(X\) จะมีฟังก์ชันมวลความน่าจะเป็น (probability mass function คำย่อ pmf) \(f: \mathbb{R} \rightarrow [0,1]\) โดย \(f(x) = \mathrm{Pr}(X = x)\).

ค่าคาดหมาย (expectation หรือ expected value) เป็นค่าเฉลี่ยของตัวแปรสุ่ม และใช้สัญกรณ์ เช่น \(E[X]\) สำหรับค่าคาดหมายของตัวแปรสุ่ม \(X\). โดยสำหรับตัวแปรสุ่มวิยุตที่เป็นตัวเลข ค่าคาดหมายสามารถคำนวณได้จาก \[\begin{eqnarray} E[X] &=& \sum_x x \cdot \mathrm{Pr}(X=x) \label{eq: prob expectation}. \end{eqnarray}\]

ความแปรปรวน (variance) ของตัวแปรสุ่ม ใช้สัญกรณ์ เช่น \(\mathrm{var}[X]\) ซึ่งค่าความแปรปรวน คำนวณได้จาก \[\begin{eqnarray} \mathrm{var}[X] &=& E[(X -E[X])^2] \label{eq: prob variance} \end{eqnarray}\]

2.2.2.0.6 ความน่าจะเป็นร่วม.

เมื่อใช้ตัวแปรสุ่มอธิบายเหตุการณ์ ในกรณีที่สนใจเหตุการณ์ที่เกี่ยวข้องกับตัวแปรสุ่มตั้งแต่สองตัวขึ้นไป ความน่าจะเป็นที่ใช้ จะเรียกว่า ความน่าจะเป็นร่วม (joint probability) และใช้สัญกรณ์ เช่น \(\mathrm{Pr}(X, Y)\) หรือความน่าจะเป็นร่วมของตัวแปรสุ่ม \(X\) และตัวแปรสุ่ม \(Y\) และความน่าจะเป็นร่วม \(\mathrm{Pr}(X, Y) = \mathrm{Pr}(X \cap Y)\). นั่นคือ \(\mathrm{Pr}(X = x, Y = y)\) หมายถึง ความน่าจะเป็นที่ ตัวแปรสุ่ม \(X\) จะมีค่าเป็น \(x\) และตัวแปรสุ่ม \(Y\) จะมีค่าเป็น \(y\).

ความแปรปรวนร่วมเกี่ยว (covariance) ของตัวแปรสุ่มสองตัว ใช้สัญกรณ์ เช่น \(\mathrm{cov}[X, Y]\) ซึ่งค่าความแปรปรวนร่วมเกี่ยว คำนวณได้จาก \[\begin{eqnarray} \mathrm{cov}[X, Y] &=& E_{X,Y}[(X - E[X])(Y - E[Y])] \nonumber \\ &=& E_{X,Y}[XY] - E[X]E[Y] \label{eq: prob covariance} \end{eqnarray}\] เมื่อ \(E_{X,Y}\) หมายถึงค่าคาดหมาย ที่คิดโดยคำนึงถึงความน่าจะเป็นร่วมของ \(X\) และ \(Y\). นั่นคือ สำหรับตัวแปรสุ่มวิยุต \(\mathrm{cov}[X, Y] = \sum_x \sum_y (x - E[X])(y - E[Y]) \cdot \mathrm{Pr}(X=x, Y=y)\).

2.2.3.0.1 การคำนวณ.

ความน่าจะเป็นแบบมีเงื่อนไข สามารถคำนวณได้จาก \[\begin{eqnarray} \mathrm{Pr}(A|B) = \frac{\mathrm{Pr}(A \cap B)}{\mathrm{Pr}(B)} \label{eq: prob cond prob relation} \end{eqnarray}\] เมื่อ \(\mathrm{Pr}(B) > 0\). จากสมการ \(\eqref{eq: prob cond prob relation}\) จะได้ \[\begin{eqnarray} \mathrm{Pr}(X, Y) = \mathrm{Pr}(X|Y) \cdot \mathrm{Pr}(Y) \label{eq: prob product rule} \end{eqnarray}\] เมื่อ \(X\) และ \(Y\) คือตัวแปรสุ่ม. สมการ \(\eqref{eq: prob product rule}\) มักเรียกว่า กฎผลคูณ (product rule). นอกจากนั้น พิจารณาสมการ \(\eqref{eq: prob law of total prob}\) และ \(\eqref{eq: prob product rule}\) จะพบว่า \[\begin{eqnarray} \mathrm{Pr}(X) = \sum_y \mathrm{Pr}(X, Y=y) = \sum_y \mathrm{Pr}(X|Y = y) \cdot \mathrm{Pr}(Y = y) \label{eq: prob sum rule} \end{eqnarray}\] ซึ่ง สมการนี้มักเรียกว่า กฎผลรวม (sum rule). สังเกตว่า การใช้กฎผลรวม จะลดตัวแปรสุ่มลงไป ซึ่งการทำเช่นนี้ จึงอาจถูกเรียกว่า การสลายปัจจัย (marginalization).

กฎผลคูณสามารถใช้ต่อเนื่องกัน ในลักษณะลูกโซ่ \[\begin{eqnarray} \mathrm{Pr}(X_1, X_2, \ldots, X_n) &=& \mathrm{Pr}(X_1) \cdot \mathrm{Pr}(X_2, \ldots, X_n|X_1) \nonumber \\ &=& \mathrm{Pr}(X_1) \cdot \mathrm{Pr}(X_2|X_1) \cdot \mathrm{Pr}(X_3, \ldots, X_n|X_1, X_2) \nonumber \\ &\vdots& \nonumber \\ &=& \mathrm{Pr}(X_1) \cdot \mathrm{Pr}(X_2|X_1) \cdot \mathrm{Pr}(X_3|X_1, X_2) \cdot \mathrm{Pr}(X_4|X_1, X_2, X_3) \cdot \cdots \nonumber \\ &\;& \; \cdots \mathrm{Pr}(X_n|X_1, \ldots, X_{n-1}) \label{eq: prob chain rule} \end{eqnarray}\] ซึ่งสมการ \(\eqref{eq: prob chain rule}\) มักจะถูกเรียกว่า กฎลูกโซ่ของความน่าจะเป็น (chain rule of probability).

กฎของเบส์ (Bayes’ rule หรือ Bayes’ theorem) คือ \[\begin{eqnarray} \mathrm{Pr}(Y|X) &=& \frac{\mathrm{Pr}(X|Y) \cdot \mathrm{Pr}(Y)}{\mathrm{Pr}(X)} \label{eq: prob Bayes' 1} \\ &=& \frac{\mathrm{Pr}(X|Y) \cdot \mathrm{Pr}(Y)}{\sum_y \mathrm{Pr}(X|Y=y) \cdot \mathrm{Pr}(Y=y)} \label{eq: prob Bayes' 2} \end{eqnarray}\] จากความสัมพันธ์ที่ได้จากกฎของเบส์ การอนุมานค่าที่สนใจจากข้อมูล มักจะเรียกชื่อพจน์ต่าง ๆ ในสมการ \(\eqref{eq: prob Bayes' 1}\) เพื่อความสะดวก ดังนี้ ถ้ากำหนดให้ตัวแปรสุ่ม \(Y\) แทนเป้าหมายของการอนุมาน และตัวแปรสุ่ม \(X\) แทนข้อมูลประกอบ แล้ว \(\mathrm{Pr}(Y)\) จะเรียกว่า ความน่าจะเป็นก่อน (prior probability คำย่อ prior) ซึ่งหมายถึง ก่อนการนำข้อมูลประกอบมาคิด \(\mathrm{Pr}(Y|X)\) จะเรียกว่า ความน่าจะเป็นภายหลัง (posterior probability คำย่อ posterior) ซึ่งหมายถึง ภายหลังการนำข้อมูลประกอบมาคิด และ หาก \(\mathrm{Pr}(X|Y)\) เขียนอยู่ในรูปฟังก์ชัน \(f(y) = \mathrm{Pr}(X|Y=y)\) ก็จะถูกเรียกว่า ฟังก์ชันควรจะเป็น (likelihood function คำย่อ likelihood). ดังนั้น จากกฎของเบส์ และชื่อพจน์ต่าง ๆ อาจสรุปความสัมพันธ์ได้เป็น \(\mathrm{posterior} \propto \mathrm{likelihood} \cdot \mathrm{prior}\).

2.2.3.0.2 ตัวอย่างการคำนวณ.

กลับมาที่รูป 1.8 อีกครั้ง คราวนี้จะสุ่มเลือกลัง และพอได้ลังแล้วก็จะสุ่มหยิบลูกบอลออกมา. โอกาสที่จะสุ่มได้ลังแดงเป็น \(\frac{4}{10}\) หรือความน่าจะเป็นที่จะได้ลังสีแดง \(\mathrm{Pr}(C = \mbox{`r'}) = 0.4\) โดย \(C = \mbox{`r'}\) แทนเหตุการณ์ที่จะได้ลังสีแดง. ในทำนองเดียวกัน ความน่าจะเป็นที่จะได้ลังสีบานเย็น \(\mathrm{Pr}(C = \mbox{`m'}) = 0.6\).

ถ้ารู้ว่าเป็นลังสีแดง เมื่อสุ่มหยิบลูกบอลมา โอกาสที่จะหยิบได้ลูกบอลสีเขียว คือ \(\frac{9}{12} = 0.75\) หรือเขียนเป็นสัญกรณ์ ได้ว่า \(\mathrm{Pr}(B = \mbox{`g'}|C = \mbox{`r'}) = 0.75\) โดย \(B = \mbox{`g'}\) แทนเหตุการณ์ที่จะหยิบได้ลูกบอลสีเขียว. ทำนองเดียวกัน ก็จะได้ความน่าจะเป็นแบบมีเงื่อนไขอื่น ๆ ดังนี้

• \(\mathrm{Pr}(B = \mbox{`o'}|C = \mbox{`r'}) = 0.25\),

• \(\mathrm{Pr}(B = \mbox{`g'}|C = \mbox{`m'}) = 0.20\),

• \(\mathrm{Pr}(B = \mbox{`o'}|C = \mbox{`m'}) = 0.80\). \(\square\)

สังเกตว่า ความน่าจะเป็นที่จะหยิบได้ลูกบอลสีเขียวเมื่อรู้ว่าลังสีแดง \(\mathrm{Pr}(B = \mbox{`g'}|C = \mbox{`r'})\) ไม่เหมือนกับความน่าจะเป็นที่จะหยิบลูกบอลสีเขียวและสุ่มได้ลังสีแดง \(\mathrm{Pr}(B = \mbox{`g'}, C = \mbox{`r'})\). สำหรับ \(\mathrm{Pr}(B = \mbox{`g'}|C = \mbox{`r'}) = 0.75\) นั้นไม่ต้องสนใจเลยว่าโอกาสที่จะได้ลังสีแดงเป็นเท่าไร. ในขณะที่ \(\mathrm{Pr}(B = \mbox{`g'}, C = \mbox{`r'})\) จะประกอบด้วยโอกาสที่จะได้ลังสีแดง \(\mathrm{Pr}(C = \mbox{`r'}) = 0.4\) และโอกาสที่จะหยิบได้ลูกบอลสีเขียวจากลังนั้น \(\mathrm{Pr}(B = \mbox{`g'}|C = \mbox{`r'}) = 0.75\) ซึ่งจากกฎผลคูณ (สมการ \(\eqref{eq: prob product rule}\)) จะได้ \[\begin{eqnarray} \mathrm{Pr}(B = \mbox{`g'}, C = \mbox{`r'}) &=& \mathrm{Pr}(C = \mbox{`r'}) \cdot \mathrm{Pr}(B = \mbox{`g'}|C = \mbox{`r'}) \nonumber \\ &=& (0.4) \cdot (0.75) = 0.3 \nonumber . \end{eqnarray}\]

ในทำนองเดียวกันก็จะได้ค่าความน่าจะเป็นต่าง ๆ ดังแสดงในตาราง 1.3.

ทบทวน (1) ผลรวมของความน่าจะเป็นของทุก ๆ เหตุการณ์เป็น \(1\). นั่นคือ \[\begin{eqnarray} \mathrm{Pr}(\Omega) &=& \mathrm{Pr}(C = \mbox{`r'}, B = \mbox{`g'}) + \mathrm{Pr}(C = \mbox{`r'}, B = \mbox{`o'}) \nonumber \\ &\;& + \mathrm{Pr}(C = \mbox{`b'}, B = \mbox{`g'}) + \mathbb{P}(C = \mbox{`b'}, B = \mbox{`o'}) \nonumber \\ &=& 0.3 + 0.1 + 0.12 + 0.48 = 1 \nonumber . \end{eqnarray}\] ธรรมชาตินี้เป็นคุณสมบัติพื้นฐานของความน่าจะเป็น. ทบทวน (2) ความน่าจะเป็นของเหตุการณ์ \(X\) เท่ากับผลรวมของความน่าจะเป็นของเหตุการณ์ \(X\) และ \(Y\) สำหรับทุก ๆ ความเป็นไปได้ของ \(Y\) ดังเช่น \[\begin{eqnarray} \mathrm{Pr}(C = \mbox{`r'}) &=& \mathrm{Pr}(C = \mbox{`r'}, B = \mbox{`g'}) + \mathrm{Pr}(C = \mbox{`r'}, B = \mbox{`o'}) \nonumber \\ &=& 0.3 + 0.1 = 0.4 \nonumber \\ \mathrm{Pr}(C = \mbox{`m'}) &=& \mathrm{Pr}(C = \mbox{`m'}, B = \mbox{`g'}) + \mathrm{Pr}(C = \mbox{`m'}, B = \mbox{`o'}) \nonumber \\ &=& 0.12 + 0.48 = 0.6 \nonumber . \end{eqnarray}\] ธรรมชาตินี้คือกฎผลบวก (สมการ \(\eqref{eq: prob sum rule}\)).

จากกฎของการบวก จะได้ ความน่าจะเป็นที่จะหยิบได้ลูกบอลสีเขียว และสีส้ม (โดยไม่สนใจสีของลัง) \[\begin{eqnarray} \mathrm{Pr}(B = \mbox{`g'}) &=& \mathrm{Pr}(C = \mbox{`r'}, B = \mbox{`g'}) + \mathrm{Pr}(C = \mbox{`m'}, B = \mbox{`g'}) \nonumber \\ &=& 0.3 + 0.12 = 0.42 \nonumber \\ \mathrm{Pr}(B = \mbox{`o'}) &=& \mathrm{Pr}(C = \mbox{`r'}, B = \mbox{`o'}) + \mathrm{Pr}(C = \mbox{`m'}, B = \mbox{`o'}) \nonumber \\ &=& 0.1 + 0.48 = 0.58 \nonumber . \end{eqnarray}\] และความน่าจะเป็นของลังถ้าหากรู้สีของลูกบอลที่สุ่มหยิบออกมาหนึ่งลูก \[\begin{eqnarray} \mathrm{Pr}(C = \mbox{`r'}|B = \mbox{`g'}) &=& \frac{\mathrm{Pr}(B = \mbox{`g'}|C = \mbox{`r'}) \cdot \mathrm{Pr}(C = `r')}{\mathrm{Pr}(B = \mbox{`g'})} \nonumber \\ &=& \frac{(0.75) (0.4)}{0.42} = 0.71 \nonumber . \end{eqnarray}\] ความน่าจะเป็นแบบมีเงื่อนไข และทฤษฎีของเบส์ ช่วยให้สามารถหาค่าความน่าจะเป็นที่สนใจได้ จากค่าของความน่าจะเป็นอื่นที่ประเมินความน่าจะเป็นได้ง่ายกว่า เช่น \(\mathrm{Pr}(B|C)\) จะประเมินได้ง่าย เพราะว่า ลูกบอลอยู่ในลัง ดังนั้นจะนับได้ง่ายว่า ในลังแต่ละสี มีลูกบอลสีไหนจำนวนเท่าไร ต่อจำนวนลูกบอลทั้งหมดในลัง. \(\mathrm{Pr}(C)\) ก็ประเมินได้ง่าย แต่ \(\mathrm{Pr}(C|B)\) ประเมินตรง ๆ ได้ยาก เพราะลูกบอลแต่สีกระจายไปทุก ๆ ลัง.

[tbl: prob cond prob table]

2.2.3.0.3 การตีความและความสับสนที่พบได้บ่อย.

เพื่อหาความน่าจะเป็นที่จะได้ลูกบอลสีเขียว \(\mathrm{Pr}(B = \mbox{`g'})\) บ่อยครั้งมักถูกคำนวณด้วย \(11/22 = 0.5\) ซึ่งได้จากการนับลูกบอลสีเขียว เทียบกับลูกบอลทั้งหมด. กรณีนี้ ค่าที่ถูกต้อง \(\mathrm{Pr}(B = \mbox{`g'}) = 0.42\) ไม่เท่ากับ \(11/22 = 0.5\) ซึ่ง \(11/22\) ได้จากการนับลูกบอล โดยเสมือนว่าไม่มีลัง. กรณีหลังนั้น คือสถานการณ์ที่เทลูกบอลทั้งหมดออกจากลัง และสุ่มหยิบลูกไหนก็ได้. ในขณะที่ตัวอย่างนี้ ต้องเลือกลังก่อน ถ้าเลือกลังแล้ว ต้องสุ่มหยิบลูกจากในลังที่เลือก.

สองกรณีนี้ จะเห็นต่างกันชัดเจนมาก ถ้าพิจารณากรณี เช่น ตัวอย่างในรูป 1.9 มีลังสีเหลืองแค่ \(1\) ลัง มีลังสีฟ้า \(4\) ลัง แต่ลังสีเหลืองมีลูกบอล \(8\) ลูก ที่ทั้งหมดสีเขียว และลังสีฟ้ามีลูกบอล \(2\) ลูก ที่ทั้งหมดสีส้ม. เมื่อคิดความน่าจะเป็นแล้วจะพบว่า กรณีนี้ ถ้าเทลูกบอลทั้งหมดออกจากลัง แล้วสุ่มหยิบโอกาสที่จะได้สีเขียวเป็น \(8/16 = 1/2\) แต่ถ้าสุ่มเลือกลังก่อน ลังสีเหลืองมีโอกาสแค่ \(1/5\) แล้วโอกาสได้ลูกบอลสีเขียวจากลังนี้เป็น \(1\) ในขณะที่โอกาสที่จะได้ลังสีฟ้าเป็น \(4/5\) แต่โอกาสได้ลูกบอลสีเขียวเป็น \(0\) ดังนั้นโอกาสได้ลูกบอลสีเขียวจะเป็นแค่ \((1/5) \cdot 1 + (4/5) \cdot 0 = 1/5\).

ภาพความเกี่ยวเนื่องของเหตุการณ์ และความน่าจะเป็นร่วม และความน่าจะเป็นแบบมีเงื่อนไข แสดงในรูป 1.10 สำหรับสองเหตุการณ์ และรูป 1.11 สำหรับสามเหตุการณ์.

2.2.3.0.4 ความเป็นอิสระต่อกัน.

เหตุการณ์ \(A\) และเหตุการณ์ \(B\) จะเป็นอิสระต่อกัน (independent) ก็ต่อเมื่อ \(\mathrm{Pr}(A \cap B) = \mathrm{Pr}(A) \cdot \mathrm{Pr}(B)\). ดังนั้น จากกฎผลคูณ \(\mathrm{Pr}(A \cap B) = \mathrm{Pr}(A|B) \cdot \mathrm{Pr}(B)\) จะได้ว่า \(\mathrm{Pr}(A|B) = \mathrm{Pr}(A)\) เมื่อ \(A\) และ \(B\) เป็นอิสระต่อกัน. ความหมายก็คือ ถ้าเหตุการณ์ \(A\) และเหตุการณ์ \(B\) เป็นอิสระต่อกันแล้ว การรู้หรือไม่รู้ข้อมูลของ \(B\) ก็ไม่ได้เปลี่ยนการประมาณค่าของ \(A\).

2.2.3.1 ตัวอย่างการใช้งานความน่าจะป็นแบบมีเงื่อนไข

2.2.4.0.1 สิ่งที่มักสับสน.

ตัวแปรสุ่มต่อเนื่อง มีีคุณสมบัติหลายอย่างที่มักถูกเข้าใจผิด. ทั้งตัวแปรสุ่มวิยุตและตัวแปรสุ่มต่อเนื่องใช้บรรยายเหตุการณ์ ซึ่งเหตุการณ์จะสามารถนำไปหาค่าความน่าจะเป็นได้. ความน่าจะเป็น ยังมีคุณสมบัติเหมือนเดิม ไม่ว่า จะเป็น ความน่าจะเป็นของเหตุการณ์ที่บรรยายด้วยตัวแปรสุ่มวิยุต หรือด้วยตัวแปรสุ่มต่อเนื่อง. นั่นคือ ความน่าจะเป็น มีค่าระหว่างศูนย์ถึงหนึ่ง และผลรวมของความน่าจะเป็นทั้งหมดเป็นหนึ่ง.

แต่ตัวแปรสุ่มวิยุตและตัวแปรสุ่มต่อเนื่องมีคุณสมบัติหลาย ๆ อย่างต่างกัน. กำหนดให้ \(D\) เป็นตัวแปรสุ่มวิยุต และ \(C\) เป็นตัวแปรสุ่มต่อเนื่อง สำหรับตัวแปรสุ่มวิยุต ความน่าจะเป็นของแต่ละผลลัพธ์ คือค่าฟังก์ชันมวลความน่าจะเป็นของค่าผลลัพธ์นั้น นั่นคือ \(\mathrm{Pr}(D = d) = \mathrm{pmf}(d)\). แต่สำหรับตัวแปรสุ่มต่อเนื่อง ความน่าจะเป็นของแต่ละผลลัพธ์เป็นศูนย์เสมอ ไม่ว่าค่านั้นจะเป็นเท่าไร นั่นคือ \(\mathrm{Pr}(C = c) = 0\).

แม้ว่า ความน่าจะเป็นของแต่ละค่าเป็นศูนย์ แต่ความน่าจะเป็นของช่วงค่าสามารถหาได้. วิธีประเมินความน่าจะเป็น ในกรณีตัวแปรสุ่มต่อเนื่อง จะใช้ฟังก์ชันการแจกแจง \(F(c) = \mathrm{Pr}(C \leq c)\) และความน่าจะเป็น \(\mathrm{Pr}(C > c) = 1 - F(c)\). เมื่อต้องการประเมินความน่าจะเป็นเป็นช่วง ก็สามารถทำได้โดย \(\mathrm{Pr}(c_0 < C \leq c_1) = F(c_1) - F(c_0)\). หากต้องการประเมินความน่าจะเป็นบริเวณรอบ ๆ ค่าใดก็สามารถทำได้โดย \(\mathrm{Pr}(c - \epsilon < C \leq c + \epsilon) = F(c + \epsilon) - F(c - \epsilon)\) เมื่อ \(\epsilon\) ระบุระยะของบริเวณรอบ ๆ. ข้อควรระวัง ถ้า \(\epsilon\) เล็กมาก ๆ แล้ว \(\mathrm{Pr}(c - \epsilon < C \leq c + \epsilon)\) จะใกล้กับศูนย์ (ความน่าจะเป็นของค่าจุดจุดหนึ่งของตัวแปรสุ่มต่อเนื่องเป็นศูนย์).

ตัวแปรสุ่มวิยุตมี \(\mathrm{pmf}\) แต่ไม่มี \(\mathrm{pdf}\). ตัวแปรสุ่มต่อเนื่องมี \(\mathrm{pdf}\) ไม่มี \(\mathrm{pmf}\). ค่าของ \(\mathrm{pmf}(d) \in [0,1]\) สำหรับทุก ๆ ค่า \(d\) เพราะว่าค่าของ \(\mathrm{pmf}(d)\) คือค่าความน่าจะเป็น. แต่ค่าของ \(\mathrm{pdf}(c) \geq 0\) ซึ่งอาจจะใหญ่กว่า \(1\) ได้. อย่างไรก็ตาม \[\begin{eqnarray} \int_{-\infty}^{\infty} \mathrm{pdf}(c) dc &=& F(\infty) = \mathrm{Pr}(C \leq \infty) = 1 \nonumber \end{eqnarray}\]

ตาราง 1.4 สรุปคุณสมบัติของตัวแปรสุ่มต่อเนื่อง ที่มักถูกเข้าใจผิด เปรียบเทียบกับคุณสมบัติของตัวแปรสุ่มวิยุตในประเด็นเดียวกัน.

[tbl: prob continuous rv]

2.2.4.0.2 การแจกแจงเกาส์เซียน.

คุณสมบัติที่สำคัญของตัวแปรสุ่ม \(X\) ก็คือ การแจกแจง \(F(x) = \mathrm{Pr}(X \leq x)\). การแจกแจงแบบต่อเนื่อง ชนิดหนึ่งที่สำคัญ คือ การแจกแจงเกาส์เซียน (Gaussian distribution) หรืออาจเรียกว่า การแจกแจงปกติ (normal distribution).

การแจกแจงเกาส์เซียน อธิบายการแจกแจงของตัวแปรสุ่มต่อเนื่อง \(X\) ด้วยฟังก์ชันความหนาแน่น \[\begin{eqnarray} f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right), \quad -\infty < x < \infty \label{eq: prob gaussian pdf} \end{eqnarray}\] เมื่อ \(\mu\) และ \(\sigma^2\) เป็นพารามิเตอร์ของแบบจำลอง ⁷. ฟังก์ชันการแจกแจงของการแจกแจงเกาส์เซียน ไม่มีรูปแบบปิด (closed form ซึ่งในคณิตศาสตร์ หมายถึง นิพจน์ที่สามารถเขียนโดยใช้การคำนวณพื้นฐานได้) และฟังก์ชันการแจกแจง มักเขียนในรูป \[\begin{eqnarray} F(x) = \frac{1}{2} \left( 1 + \mathrm{erf} \left(\frac{x - \mu}{\sigma \sqrt{2}} \right) \right) \label{eq: prob gaussian cdf} \end{eqnarray}\] เมื่อ \[\begin{eqnarray} \mathrm{erf}(x) = \frac{2}{\sqrt{\pi}} \int_0^x \exp \left( -t^2 \right) dt \label{eq: prob gaussian erf}. \end{eqnarray}\]

รูป 1.12 แสดงความสัมพันธ์ระหว่างพารามิเตอร์ \(\mu\) กับ \(\sigma\) และผลต่อค่าความหนาแน่นความน่าจะเป็นของการแจกแจงเกาส์เซียน. ค่า \(\mu\) จะควบคุมตำแหน่งที่มีความหนาแน่นสูงสุด. ค่า \(\sigma\) ควบคุมการแผ่. สังเกตว่า ความหนาแน่นความน่าจะเป็น มีค่าเกินหนึ่งได้ (ภาพล่างที่สองจากซ้าย \(\sigma = 0.2\)).

รูป 1.14 แสดงความหนาแน่นความน่าจะเป็น (pdf) และการแจกแจงความน่าจะเป็น (cdf). สังเกตว่า การแจกแจงความน่าจะเป็น จะเป็นฟังก์ชันเพิ่ม (increasing function) เพราะว่า การแจกแจงความน่าจะเป็น \(F(x) = \mathrm{Pr}(X \leq x)\) ดังนั้น ที่ค่ามากขึ้น ความน่าจะเป็นจะไม่มีทางน้อยลง และที่อนันต์ \(F(\infty) = 1\). การแจกแจงความน่าจะเป็น เป็นค่าปริพันธ์ (integral) ของความหนาแน่นความน่าจะเป็น ดังนั้น พื้นที่ใต้กราฟของความหนาแน่นความน่าจะเป็น จนถึง ณ จุดที่สนใจ จะเท่ากับค่าการแจกแจงความน่าจะเป็น.

ก	ข

2.3.1.0.1 ตัวอย่าง.

การหาค่าทำให้น้อยที่สุดของ \(f(x) = - e^{ - (x-5)^2 }\) ด้วยวิธีลงเกรเดียนต์.

• เริ่มต้นด้วยการเลือกจุดเริ่มต้น สมมติเลือก \(x^{(0)} = 6.5\) และเลือกใช้ค่าขนาดก้าว สมมติเลือกเป็น \(\alpha = 0.5\). เกรเดียนต์สามารถวิเคราะห์การคำนวณไว้ได้ \[\begin{eqnarray} \nabla f(x) &=& \frac{d f(x)}{d x} = - e^{ - (x-5)^2 } \cdot (-2 x + 10). \nonumber \end{eqnarray}\]

• ปรับค่าตัวแปรตัดสินใจ ตามสมการ \(\eqref{eq: opt gd}\)
  \[\begin{eqnarray} %(k=1) &\;& \mbox{การคำนวณครั้งแรก } (k=1) \nonumber \\ x^{(1)} &=& x^{(0)} - (0.5) \cdot \nabla f (x^{(0)}) = 6.5 - (0.5) \cdot \nabla f (6.5) \nonumber \\ &=& 6.5 - (0.5) \cdot \left(- e^{ - (6.5-5)^2 } \cdot (-2 \cdot (6.5) + 10) \right) = 6.3419. \nonumber \\ %(k=2) &\;& \mbox{การคำนวณที่สอง } (k=2) \nonumber \\ x^{(2)} &=& x^{(1)} - (0.5) \cdot \nabla f (x^{(1)}) = 6.3419 - (0.5) \cdot \nabla f (6.3419) = 6.1202 \nonumber \\ &\;& \mbox{การคำนวณต่อ ๆ มา} \nonumber \\ x^{(3)} &=& 6.1202 - (0.5) \cdot \nabla f (6.1202) = 5.8009 \nonumber \\ x^{(4)} &=& 5.8009 - (0.5) \cdot \nabla f (5.8009) = 5.3792 \nonumber \end{eqnarray}\] และ \(x^{(5)} = 5.0508\); \(x^{(6)} = 5.0001\); \(x^{(7)} = 5.0000\); \(x^{(8)} = 5.0000\).

• และผลลู่เข้าสู่ \(x = 5\) ซึ่งคือค่าทำให้น้อยที่สุด. ส่วน \(f(5) = -1\) เป็นค่าฟังก์ชันจุดประสงค์ที่น้อยที่สุด และค่าเกรเดียนต์ ณ จุดนี้คือ \(\nabla f(5) = 0\). \(\square\)

สังเกตว่า ที่ค่าทำให้น้อยที่สุด \(x^\ast\) จะทำให้เกรเดียนต์ \(\nabla f(x^\ast) = 0\) และนี่คือ ธรรมชาติ ⁹ ของค่าทำให้น้อยที่สุด ซึ่งคือ ณ จุดค่าทำให้น้อยที่สุด เกรเดียนต์จะมีค่าเป็นศูนย์ ¹⁰ ดังนั้น ถึงแม้จะคำนวณต่อ ค่าของตัวแปรตัดสินใจก็จะยังคงติดอยู่ที่ค่าทำให้น้อยที่สุด.

2.3.1.0.2 การใช้งานวิธีลงเกรเดียนต์.

วิธีลงเกรเดียนต์ มีอภิมานพารามิเตอร์ เป็นค่าขนาดก้าว. อภิมานพารามิเตอร์ (meta-parameter หรือ hyper-parameter) หมายถึง ปัจจัยระดับสูงของวิธีการคำนวณ แต่ละวิธี ที่ผู้ใช้ต้องเลือกให้เหมาะสม. สำหรับวิธีลงเกรเดียนต์ ผู้ใช้ต้องเลือกค่าของขนาดก้าว. ถ้าเลือกใช้ขนาดก้าวที่มีค่าเล็กพอ วิธีลงเกรเดียนต์ จะรับประกันการลู่เข้าได้ ¹¹. การลู่เข้า (convergence) หมายถึง พฤติกรรมที่ดีของผลการคำนวณ สำหรับการคำนวณลักษณะการวนซ้ำขัดเกลา (iterative refinement computation) นั่นคือ ค่าของผลการคำนวณของแต่ละรอบคำนวณ มีการเปลี่ยนแปลงน้อยลง เมื่อรอบการคำนวณเพิ่มมากขึ้น อาจกล่าวได้ว่า การลู่เข้าคือพฤติกรรมที่ ผลลัพธ์จากการคำนวณเปลี่ยนแปลงค่าเข้าหา(ลู่เข้าหา)ค่าใดค่าหนึ่ง ในลักษณะคงที่ เมื่อรอบการคำนวณเพิ่มมากขึ้น.

ขนาดก้าวที่ใหญ่เกินไป อาจทำให้การคำนวณล้มเหลวได้ แต่ขนาดก้าวที่เล็กเกินไป อาจทำให้ต้องทำการคำนวณหลายรอบมาก ๆ ซึ่งมีผลให้ใช้เวลาในการคำนวณนาน (ดูแบบฝึกหัด [ex: opt gd step size] ประกอบ). ในทางปฏิบัติ เพื่อให้ไม่เสียเวลาคำนวณมากเกินไป เงื่อนไขการจบการคำนวณ (terminating condition) มักถูกใช้ประกอบ. เงื่อนไขการจบที่นิยมใช้กับวิธีลงเกรเดียนต์ ได้แก่ เงื่อนไขจำนวนรอบสูงสุด (maximum number of iterations) และ เงื่อนไขความคลาดเคลื่อนยินยอม (tolerance).

เงื่อนไขจำนวนรอบสูงสุด จะกำหนดจำนวนรอบที่จะหยุดทำการคำนวณ ไม่ว่าการคำนวณนั้น จะดำเนินไปถึงสิ้นสุดหรือไม่ จะได้ค่าทำให้น้อยที่สุดแล้วหรือไม่. นั่นคือ กำหนด \(\boldsymbol{v}^{(k+1)} = \boldsymbol{v}^{(k)} - \alpha \nabla g (\boldsymbol{v}^{(k)})\) สำหรับ \(k = 1, \ldots, N_{\max}\) เมื่อ \(N_{\max}\) คือจำนวนรอบคำนวณที่มากที่สุด และการใช้เงื่อนไขนี้ จะทำให้ผู้ใช้ต้องกำหนดจำนวนรอบสูงสุดนี้ด้วย. ดังนั้นอภิมานพารามิเตอร์ จะมีจำนวนรอบสูงสุดขึ้นอีกตัว.

เงื่อนไขความคลาดเคลื่อนยินยอม กำหนดค่าความคลาดเคลื่อนที่ยอมรับได้ ซึ่งอาจเลือกใช้เงื่อนไข ขนาดของเกรเดียนต์ \(\epsilon = \|\nabla g(\boldsymbol{v}^{(k+1)})\|\). แบบฝึกหัด [ex: opt gd simple code] แสดงตัวอย่างโปรแกรมวิธีลงเกรเดียนต์อย่างง่าย ที่ใช้เงื่อนไขการจบแค่จำนวนรอบสูงสุด. แบบฝึกหัด [ex: opt gd termination code] แสดงตัวอย่างโปรแกรมวิธีลงเกรเดียนต์ที่ใช้เงื่อนไขคลาดเคลื่อนยินยอม.

วิธีลงเกรเดียนต์ประยุกต์ใช้ได้ง่าย ต้องการแค่เกรเดียนต์ และค่าเริ่มต้น. ค่าเริ่มต้นก่อนการคำนวณของตัวแปรตัดสินใจ อาจเป็นค่าใดก็ได้ ¹² แต่โดยทั่วไป มักนิยมใช้การกำหนดค่าเริ่มต้น (initialization) ให้กับตัวแปรตัดสินใจ ด้วยค่าที่สุ่มขึ้นมา. (ดูแบบฝึกหัด [ex: opt gd random.norm init])

ปัญหาที่ตัวแปรตัดสินใจมีหลาย ๆ ตัว สามารถใช้วิธีลงเกรเดียนต์ได้ โดยการจัดหลาย ๆ ตัวแปรตัดสินใจ เข้ามารวมกันเป็นเวกเตอร์ตัวแปรตัดสินใจเวกเตอร์เดียว และวิธีลงเกรเดียนต์เตรียมการมาสำหรับกรณีนี้อยู่แล้ว (สมการ \(\eqref{eq: opt gd}\)). สังเกตว่า ตัวแปรตัดสินใจเขียนเป็นเวกเตอร์ และอัตราการเปลี่ยนก็ใช้เกรเดียนต์ แต่การนำวิธีลงเกรเดียนต์ ไปเขียนโปรแกรมเพื่อทำงานกับเวกเตอร์ จะต้องระวังเรื่องของตัวแปรเป็นพิเศษ. (ดูแบบฝึกหัด [ex: opt gd vec code] ประกอบ) นอกจากนั้น เพื่อช่วยให้สามารถตรวจสอบความก้าวหน้า ในการหาค่าทำให้น้อยที่สุดได้อย่างมีประสิทธิภาพ ควรตรวจสอบค่าฟังก์ชันจุดประสงค์ทุก ๆ รอบคำนวณ. ตัวอย่างต่อไปนี้ แสดงการคำนวณของวิธีลงเกรเดียนต์ เมื่อตัวแปรตัดสินใจมีสองค่า.

ก	ข

2.3.1.0.3 ตัวอย่าง เมื่อตัวแปรตัดสินใจเป็นเวกเตอร์.

ปัญหา เช่น \(\min_{\boldsymbol{v}} \; g\) เมื่อ \(\boldsymbol{v} =[v_1, v_2]^T\) และ \(g(\boldsymbol{v}) = -e^{-53-v_1^2 -2v_2^2-v_1 v_2 + 10 v_1 + 19 v_2}\) ซึ่งรูป 1.18 แสดงฟังก์ชันจุดประสงค์ในรูปคอนทัวร์ (contour plot) และในรูปสามทัศนมิติ (3d perspective plot) ปัญหานี้สามารถแก้ด้วยวิธีลงเกรเดียนต์ ดังนี้.

• เลือกอภิมานพารามิเตอร์ ได้แก่ ค่าขนาดก้าว \(\alpha = 0.01\)

• เตรียมฟังก์ชันคำนวณเกรเดียนต์ \[\begin{eqnarray} \nabla g(\boldsymbol{v}) &=& \begin{bmatrix} \frac{\partial g}{\partial v_1} \\ \frac{\partial g}{\partial v_2} \end{bmatrix} = \begin{bmatrix} g(\boldsymbol{v}) \cdot (-2 v_1 - v_2 + 10) \\ g(\boldsymbol{v}) \cdot (-4 v_2 - v_1 + 19) \end{bmatrix} = g(\boldsymbol{v}) \cdot \begin{bmatrix} -2 v_1 - v_2 + 10 \\ -4 v_2 - v_1 + 19 \end{bmatrix} \nonumber . \end{eqnarray}\] สังเกต ค่าฟังก์ชันจุดประสงค์ \(g(\boldsymbol{v})\) เป็นสเกล่าร์ แต่ค่าเกรเดียนต์ \(\nabla g(\boldsymbol{v})\) เป็นเวกเตอร์ ที่มีสัดส่วน (จำนวนส่วนประกอบ) เท่ากับสัดส่วนของตัวแปรตัดสินใจ \(\boldsymbol{v}\).

• สุ่มเลือกค่าเริ่มต้น สมมติว่าสุ่มได้ \(\boldsymbol{v}^{(0)} = [2.5, 3.5]^T\)

• ปรับค่าตัวแปรตัดสินใจ ตามสมการ \(\eqref{eq: opt gd}\)
  \[\begin{eqnarray} %(k=1) &\;& \mbox{การคำนวณครั้งแรก } (k=1) \nonumber \\ \boldsymbol{v}^{(1)} &=& \boldsymbol{v}^{(0)} - (0.01) \cdot \nabla g (\boldsymbol{v}^{(0)}) \nonumber \\ &=& [2.5, 3.5]^T - 0.01 \cdot (-0.3679) \cdot [-2(2.5)-3.5+10, -4(3.5)-2.5+19]^T \nonumber \\ &=& [2.5, 3.5]^T - 0.01 \cdot [-0.5518, -0.9197]^T = [2.506, 3.509]^T \nonumber \\ &\;& \mbox{การคำนวณที่สอง } (k=2) \nonumber \\ \boldsymbol{v}^{(2)} &=& \boldsymbol{v}^{(1)} - (0.01) \cdot \nabla g (\boldsymbol{v}^{(1)}) \nonumber \\ &=& [2.506, 3.509]^T - 0.01 \cdot [-0.5615, -0.9326]^T = [2.511, 3.519]^T \nonumber \\ &\;& \mbox{การคำนวณที่สาม } (k=3) \nonumber \\ \boldsymbol{v}^{(3)} &=& \boldsymbol{v}^{(2)} - (0.01) \cdot \nabla g (\boldsymbol{v}^{(2)}) \nonumber \\ &=& [2.511, 3.519]^T - 0.01 \cdot [-0.5711, -0.9452]^T = [2.517, 3.528]^T \nonumber \nonumber \end{eqnarray}\]

• และเมื่อดำเนินการคำนวณต่อไป (ดูแบบฝึกหัด [ex: opt gd vec code] ประกอบ) จะพบว่า \(\boldsymbol{v}^{(300)} = [2.997, 4.001]^T\), \(\boldsymbol{v}^{(400)} = [2.999, 4.000]^T\), \(\boldsymbol{v}^{(500)} = [3.000, 4.000]^T\), \(\boldsymbol{v}^{(600)} = [3.000, 4.000]^T\). ค่าของ \(\boldsymbol{v}\) ปรับน้อยมาก ๆ จนถึงแทบไม่ปรับเลยในรอบคำนวณหลัง ๆ นี่คือ \(\boldsymbol{v}\) ลู่เข้าหา \([3, 4]^T\). รูป 1.19 แสดงการปรับค่าตัวแปรตัดสินใจ ในรูปเส้นทางบนภาพคอนทัวร์ ¹³ ของฟังก์ชันจุดประสงค์. รูป 1.20 แสดง ความก้าวหน้า (progress) ของการดำเนินการหาค่าทำให้น้อยที่สุด. \(\square\)

จากรูป 1.20 ค่าของตัวแปรตัดสินใจ \(\boldsymbol{v}\) ทั้งสองค่า จะปรับเข้าหา \([3, 4]^T\) นั่นคือคำตอบลู่เข้า. เมื่อดูที่จุดลู่เข้า ดังที่ได้อภิปรายมาแล้ว ขนาดของเกรเดียนต์จะเป็นศูนย์ที่จุดดีที่สุด (optimal point) ซึ่งเป็นจุดที่ตัวแปรตัดสินใจปรับค่าไปอยู่ที่ค่าทำให้น้อยที่สุด. ขนาดของเกรเดียนต์จึงนิยมใช้เป็นเงื่อนไขในการจบโปรแกรม เพื่อไม่ต้องคำนวณมากรอบเกินไป เช่นกรณีนี้ จะเห็นว่าทำการคำนวณแค่ราว ๆ \(500\) รอบก็เห็นการลู่เข้าชัดเจนแล้ว. เมื่อดูที่ฟังก์ชันจุดประสงค์ (ภาพ Loss บนซ้าย) ค่าฟังก์ชันจุดประสงค์จะน้อยลงเรื่อย ๆ ถ้าเลือกค่าขนาดก้าวไม่ใหญ่เกินไป. พฤติกรรมการทำงานของวิธีลงเกรเดียนต์จะมีลักษณะเช่นนี้ คือ ค่าฟังก์ชันจุดประสงค์จะลดลง เมื่อรอบคำนวณเพิ่มขึ้น. การดูค่าฟังก์ชันจุดประสงค์ต่อรอบคำนวณเช่นนี้ สะดวก เพราะสามารถตรวจสอบได้ ไม่ว่าตัวแปรตัดสินใจจะมีจำนวนเท่าใด และถูกใช้เป็นแนวทางปฎิบติ เพื่อติดตามความก้าวหน้า และวิเคราะห์การทำงานของการแก้ปัญหาค่าน้อยที่สุด ว่าดำเนินการได้ดีมากน้อยเพียงใด.

วิธีลงเกรเดียนต์:
“ไม่ว่าเราเริ่มต้นอยู่ที่ไหน ถ้าเราขยับไปทิศทางที่ดีขึ้นเรื่อย ๆ
เราจะไปถึงจุดที่ดีที่สุดได้ เพียงต้องทำเรื่อย ๆ และไม่รีบเกินไป”

2.3.2.0.1 ค่าทำให้น้อยที่สุดท้องถิ่น และค่าทำให้มากที่สุดทั่วหมด.

ในกรณีที่มีข้อจำกัด ค่าของตัวแปรตัดสินใจจะพิจารณาจากค่าที่เป็นไปได้ (feasible) เท่านั้น. ค่าทำให้น้อยที่สุดท้องถิ่น คือ ค่าของตัวแปรตัดสินใจ ที่ทำให้ฟังก์ชันจุดประสงค์มีค่าน้อยกว่าหรือเท่ากับค่าฟังก์ชันจุดประสงค์ของค่าที่เป็นไปได้บริเวณรอบ ๆ. นั่นคือ ถ้ากำหนดให้ \(g: \mathbb{R}^n \rightarrow \mathbb{R}\) เป็นฟังก์ชันค่าจริง ที่นิยามสำหรับเซต \(\Omega \subset \mathbb{R}^n\) แล้ว จุด \(\boldsymbol{v}^\ast \in \Omega\) เป็นค่าทำให้น้อยที่สุดท้องถิ่น ของฟังก์ชัน \(g\) บนเซต \(\Omega\) ถ้ามีค่า \(\epsilon > 0\) ที่ \(g(\boldsymbol{v}) \geq g(\boldsymbol{v}^\ast)\) สำหรับทุกค่าของ \(\boldsymbol{v} \in \Omega \setminus \{ \boldsymbol{v}^\ast \}\) และ \(\|\boldsymbol{v} - \boldsymbol{v}^\ast\| < \epsilon\). ส่วนค่าทำให้น้อยที่สุดทั่วหมด คือ ค่าของตัวแปรตัดสินใจ ที่ทำให้ฟังก์ชันจุดประสงค์มีค่าน้อยกว่าหรือเท่ากับค่าฟังก์ชันจุดประสงค์ของค่าที่เป็นไปได้อื่น ๆ ทุกค่า. นั่นคือ จุด \(\boldsymbol{v}^\ast \in \Omega\) จะเป็นค่าทำให้น้อยที่สุดทั่วหมดของฟังก์ชัน \(g\) บนเซต \(\Omega\) ถ้า \(g(\boldsymbol{v}) \geq g(\boldsymbol{v}^\ast)\) สำหรับ ทุกค่าของ \(\boldsymbol{v} \in \Omega \setminus \{ \boldsymbol{v}^\ast \}\).

2.3.2.0.2 วิธีแก้ปัญหาค่าน้อยที่สุดแบบมีข้อจำกัด.

มีสองแนวทางหลักที่ทั่วไปนิยมใช้แก้ปัญหาค่าน้อยที่สุดแบบมีข้อจำกัด คือ แนวทางการแปลงมุมมอง และแนวทางการลงโทษ.

แนวทางการแปลงมุมมอง (projection approach) จะใช้ฟังก์ชัน \(F: \mathbb{R}^n \rightarrow \Omega\) เพื่อแปลงค่าของตัวแปรตัดสินใจมาเป็นค่าที่เป็นไปได้. ตัวอย่าง เช่น เมื่อใชักับวิธีลงเกรเดียนต์ อาจทำโดย \[\begin{eqnarray} \boldsymbol{v}^{(k+1)} = F \left( \boldsymbol{v}^{(k)} - \alpha \cdot \nabla g(\boldsymbol{v}^{(k)}) \right) \label{eq: opt const projection} \end{eqnarray}\] ในทางปฏิบัติแล้ว ฟังก์ชันแปลง \(F\) นี้ อาจจะยากที่หา หรือยากที่จะคำนวณ ในหลาย ๆ สถานการณ์. งานการเรียนรู้ของเครื่อง มักนิยมใช้แนวทางการลงโทษมากกว่า.

แนวทางการลงโทษ (penalty approach) จะใช้การลงโทษ เมื่อค่าตัวแปรตัดสินใจไม่อยู่ในเซตข้อจำกัด โดยการปรับกรอบปัญหาจากเดิม \(\min_{\boldsymbol{v}} g(\boldsymbol{v}) \; \mbox{s.t.} \; \boldsymbol{v} \in \Omega\) ไปเป็นกรอบปัญหาใหม่ \[\begin{eqnarray} \underset{\boldsymbol{v}}{\mathrm{min}} \; g(\boldsymbol{v}) + \lambda P(\boldsymbol{v}) \label{eq: opt const penalty} \end{eqnarray}\] เมื่อ \(\lambda \in \mathbb{R}\) เป็นพารามิเตอร์ลงโทษ (penalty parameter) ซึ่งนิยมเรียกว่า ลากรานจ์พารามิเตอร์ (Lagrange parameter) และฟังก์ชัน \(P: \mathbb{R}^n \rightarrow [0, \infty)\) เป็นฟังก์ชันต่อเนื่อง (continuous function) เรียกว่า ฟังก์ชันลงโทษ (penalty function) โดย ฟังก์ชันลงโทษจะมีค่าเป็นศูนย์ เมื่อค่าตัวแปรตัดสินในอยู่ในเซตข้อจำกัด นั่นคือ \(P(\boldsymbol{v}') = 0\) สำหรับ \(\boldsymbol{v}' \in \Omega\).

ตัวอย่างเช่น ปัญหา \(\min_x \sin (x) /(1 + x^2) \; \mbox{s.t.} \; x \geq 0\). รูป 1.21 แสดงฟังก์ชันจุดประสงค์ และแสดงส่วนที่ไม่ผ่านเงื่อนไขด้วยแรเงาสีเทา. รูปแสดงให้เห็นว่า จุดที่ทำให้ค่าฟังก์ชันจุดประสงค์น้อยที่สุด มีค่าเป็นลบ แต่จุดนี้ละเมิดข้อจำกัด และใช้เป็นคำตอบไม่ได้. การหาคำตอบด้วยวิธีลงโทษ อาจเลือกใช้ฟังก์ชัน \[\begin{eqnarray} P(x) = \left \{ \begin{array}{l l} 0 & \quad \mbox{เมื่อ} \quad x \geq 0, \\ -x & \quad \mbox{เมื่อ} \quad x < 0. \end{array} \right. \label{eq: opt const penalty function} \end{eqnarray}\] ซึ่งเป็นฟังก์ชันต่อเนื่อง (ทำให้สามารถหาอนุพันธ์ได้ และสามารถใช้วิธีแก้ปัญหา เช่น วิธีลงเกรเดียนต์ได้) และฟังก์ชัน \(P\) ลงโทษค่าที่ละเมิดข้อจำกัดตามปริมาณที่ละเมิด. รูป 1.22 แสดงค่าของฟังก์ชันลงโทษในสมการ \(\eqref{eq: opt const penalty function}\) และเมื่อนำฟังก์ชันลงโทษนี้ ไปใช้ร่วมกับฟังก์ชันจุดประสงค์ ฟังก์ชันที่ปรับใหม่จะเปลี่ยนพฤติกรรมไป ดังแสดงในรูป 1.23.

วิธีใช้การลงโทษนี้ ก็คือ การเปลี่ยนจากปัญหาแบบมีข้อจำกัด กลับมาเป็นปัญหาแบบไม่มีข้อจำกัด โดย การดัดแปลงฟังก์ชันจุดประสงค์ใหม่ เพื่อให้คำตอบ อยู่ในช่วงค่าที่เป็นไปได้. ดังนั้น ขั้นตอนการหาคำตอบต่อไป ก็สามารถดำเนินการได้ โดยใช้วิธีแก้ปัญหา แบบเดียวกับปัญหาแบบไม่มีข้อจำกัด.

รูป 1.23 แสดงให้เห็นว่า เมื่อ ค่าของลากรานจ์พารามิเตอร์ใหญ่มากพอ ค่าทำน้อยที่สุดของฟังก์ชันจุดประสงค์ใหม่ จะถูกบังคับให้อยู่ในช่วงค่าที่เป็นไปได้. กลไกการทำงานของการลงโทษ คือ การลงโทษจะทำให้ คำตอบของปัญหาค่าน้อยที่สุดใหม่ ที่รวมการลงโทษเข้าไป จะเป็น ¹⁴ คำตอบของปัญหาค่าน้อยที่สุดแบบมีข้อจำกัดเดิม เมื่อลากรานจ์พารามิเตอร์มีค่าใหญ่มากพอ.

ในทางปฏิบัติ การแก้ปัญหาด้วยวิธีลงโทษ จะเลือกค่าของลากรานจ์พารามิเตอร์มาค่าหนึ่ง และดำเนินการแก้ปัญหา แล้วตรวจสอบค่าคำตอบที่ได้ ว่าอยู่ภายใต้ข้อจำกัดหรือไม่ ถ้าคำตอบที่ได้ อยู่ภายใต้ข้อจำกัด นี่ก็คือ คำตอบของปัญหาที่ใช้ได้. แต่ถ้าคำตอบที่ได้ ไม่อยู่ภายใต้ข้อจำกัด จะต้องเพิ่มค่าของลากรานจ์พารามิเตอร์ขึ้น และดำเนินการแก้ปัญหาอีก และทำเช่นนี้ เพิ่มค่าลากรานจ์พารามิเตอร์ขึ้น จนกว่าจะได้คำตอบที่อยู่ภายใต้ข้อจำกัด.