6 โครงข่ายคอนโวลูชั่น

6.3.1.0.1 กรณีชั้นเอาต์พุต

สำหรับกรณีชั้นคำนวณ \((v-1)^{st}\) เป็นชั้นคำนวณสุดท้าย และชั้นคำนวณ \((v-1)^{st}\) ต้องการค่า \(\hat{\delta}^{(v-1)} = \frac{\partial E_n}{\partial z^{(v-1)}}\) จากชั้นเอาต์พุต. รูป 1.20 แสดงการผ่านค่า \(\hat{\delta}\) จากชั้นเอาต์พุตกลับไปให้ชั้นคำนวณสุดท้าย.

ที่ชั้นเอาต์พุต⁴ ค่า \(\hat{\delta}^{(v-1)}\) ก็สามารถหาเกรเดียนต์ได้โดยตรง จากการแทนค่าฟังก์ชันจุดประสงค์ในพจน์ของตัวแปร \(z^{(v-1)}\) และการหาค่าอนุพันธ์.

ตัวอย่างเช่น ฟังก์ชันจุดประสงค์ \(E_n = \lambda \sum_{q=1}^F \sum_{r=1}^{H'} \sum_{s=1}^{W'} \left( y_{qrs} - z_{qrs}^{(v-1)} \right)^2\) เมื่อ \(\lambda\) เป็นค่าคงที่, \(F\) เป็นจำนวนชุดของเอาต์พุต, \(H'\) และ \(W'\) เป็นขนาดของเอาต์พุต, \(y_{qrs}\) เป็นเฉลย (ground-truth), และ \(z_{qrs}^{(v-1)}\) คือเอาต์พุตจากชั้น \((v-1)^{st}\).

ดังนั้น จากการแทนค่าฟังก์ชันจุดประสงค์ในพจน์ของเอาต์พุต \[\begin{eqnarray} \hat{\delta}_{fkl}^{(v-1)} &=& \frac{\partial \lambda \sum_{q=1}^F \sum_{r=1}^{H'} \sum_{s=1}^{W'} \left( y_{qrs} - z_{qrs}^{(v-1)} \right)^2}{\partial z_{fkl}^{(v-1)}} \nonumber \\ &=& -2 \lambda (y_{fkl} - z_{fkl}^{(v-1)}) \nonumber . \end{eqnarray}\] ดูหัวข้อ [sec: deep YOLO] เพิ่มเติมสำหรับตัวอย่างการใช้โครงข่ายคอนโวลูชั่น โดยใช้ชั้นคอนโวลูชั่นเป็นชั้นคำนวณสุดท้าย.

แต่หากชั้นคอนโวลูชั่นไม่ได้เป็นชั้นคำนวณสุดท้าย ค่า \(\hat{\delta}^{(v-1)}\) จะได้จากการคำนวณจากชั้นที่ \(v^{th}\) ตามชนิดของชั้น \(v^{th}\). รูป 1.21 แสดงแผนภาพการผ่านค่า \(\hat{\delta}^{(v-1)}\) กลับไปให้ชั้นก่อนหน้า.

6.3.1.0.2 กรณีชั้นเชื่อมต่อเต็มที่

พิจารณาชั้นที่ \(v^{th}\) เป็นชั้นเชื่อมต่อเต็มที่ ค่า \(\hat{\delta}_{fkl}^{(v-1)}\) คำนวณได้จาก เอาต์พุต \(z_{fkl}^{(v-1)}\) ของชั้น \((v-1)^{st}\) เชื่อมต่อไปถึงฟังก์ชันจุดประสงค์ \(E_n\) ผ่านชั้น \(v^{th}\) โดย เอาต์พุตของชั้น \((v-1)^{st}\) จะกลายเป็นอินพุตของชั้น \(v^{th}\).

เอาต์พุต \(z_{fkl}^{(v-1)}\) จากชั้นคอนโวลูชั่น เมื่อเข้าเป็นอินพุตของชั้นเชื่อมต่อเต็มที่ จะถูกสลายโครงสร้างลงเป็น \(z_q^{(v-1)}\) โดย \(z_{fkl} = z_q\) เมื่อ \(q = l + W' \cdot (k - 1) + H' W' \cdot (f - 1)\) สำหรับ \(f = 1, \ldots, F; k = 1, \ldots, H'; l = 1, \ldots, W'\).

ดังนั้น \[\begin{eqnarray} \hat{\delta}_{fkl}^{(v-1)} = \frac{\partial E_n}{\partial z_{fkl}^{(v-1)}} = \frac{\partial E_n}{\partial z_q^{(v-1)}} \label{eq: deep conv grad delta hat FC next 1} . \end{eqnarray}\]

ค่า \(\frac{\partial E_n}{\partial z_q^{(v-1)}}\) ก็สามารถหาได้ เช่นเดียวกับชั้นเชื่อมต่อเต็มที่ ซึ่งได้อภิปรายในหัวข้อ [sec: ann training].

6.3.1.0.3 ทบทวนเรื่องเกรเดียนต์ของชั้นเชื่อมต่อเต็มที่ (จากหัวข้อ [sec: ann training])

พิจารณาที่ชั้น \(v^{th}\) ซึ่งเป็นชั้นเชื่อมต่อเต็มที่. เอาต์พุตของชั้น \((v-1)^{st}\) ส่งอิทธิพลกับฟังก์ชันจุดประสงค์ \(E_n\) ผ่านชั้น \(v^{th}\) และ เมื่อใช้กฎลูกโซ่จะได้ \[\begin{eqnarray} \frac{\partial E_n}{\partial z_q^{(v-1)}} &=& \sum_{r=1}^R \frac{\partial E_n}{\partial a_r^{(v)}} \cdot \frac{\partial a_r^{(v)}}{\partial z_q^{(v-1)}} \nonumber \end{eqnarray}\] สำหรับ \(q = 1, \ldots, F \cdot H' \cdot W'\) เมื่อ \(a_r^{(v)}\) คือค่าการกระตุ้นของชั้นเชื่อมต่อเต็มที่ และ \(R\) คือจำนวนหน่วยซ่อนในชั้น \(v^{th}\). จาก \(a_r^{(v)} = \sum_q w_{rq}^{(v)} z_q^{(v-1)}\) และ \(\delta_r^{(v)} \equiv \frac{\partial E_n}{\partial a_r^{(v)}}\) ทำให้ได้ \[\begin{eqnarray} \frac{\partial E_n}{\partial z_q^{(v-1)}} &=& \sum_{r=1}^R \delta_r^{(v)} \cdot w_{rq}^{(v)} \nonumber \end{eqnarray}\] และค่า \(\delta_r^{(v)}\) ก็สามารถหาได้การแพร่กระจายย้อยกลับ ดังอภิปรายในหัวข้อ [sec: ann training] (สมการ \(\eqref{eq: backprop delta L}\) สำหรับชั้นคำนวณสุดท้าย หรือสมการ \(\eqref{eq: backprop delta q < L}\) สำหรับชั้นเชื่อมต่อเต็มที่ที่ไม่ใช่ชั้นคำนวณสุดท้าย)

6.3.1.0.4 กรณีชั้นคอนโวลูชั่น

ที่ชั้นคอนโวลูชั่น \(v^{th}\) ค่า \(\hat{\delta}_{fkl}^{(v-1)}\) ก็สามารถหาได้ในลักษณะเดียวกับชั้นเชื่อมต่อเต็มที่ เพียงแต่หน่วยเอาต์พุตของชั้นคอนโวลูชั่นที่ \((v-1)^{st}\) เชื่อมต่อกับหน่วยในชั้น \(v^{th}\) เฉพาะหน่วยที่สัมพันธ์กัน และค่าน้ำหนักมีการใช้ร่วมกัน.

หน่วย \(z_{fkl}^{(v-1)}\) ส่งอิทธิพลไปถึงฟังก์ชันจุดประสงค์ \(E_n\) ผ่านหน่วย \(a_{qrs}^{(v)}\) แต่หน่วย \(a_{qrs}^{(v)}\) เชื่อมต่อกับหน่วย \(z_{fkl}^{(v-1)}\) เฉพาะหน่วยที่สัมพันธ์กัน. รูป 1.22 แสดงการเชื่อมต่อของเอาต์พุตของชั้น \((v-1)^{st}\) กับเอาต์พุตของชั้น \(v^{th}\). ในรูปแสดงแผนภาพของชั้นคอนโวลูชั่นหนึ่งมิติ แต่การเชื่อมต่อชั้นคอนโวลูชั่นสองมิติ ก็ทำในลักษณะเดียวกัน.

เมื่อพิจารณาการเชื่อมต่อ จะพบว่า ตำแหน่งเอาต์พุตของชั้น \(v^{th}\) สัมพันธ์กับตำแหน่งเอาต์พุตของชั้น \((v-1)^{st}\) โดย สำหรับแต่ละลักษณะสำคัญ \(q\), หน่วย \(a_{qrs}^{(v)}\) เชื่อมต่อ \(z_{fkl}^{(v-1)}, f = 1, \ldots, F\) เมื่อ \(F\) คือจำนวนลักษณะสำคัญของชั้น \((v-1)^{st}\), \(r \in \Omega(k, S_H, H_F)\), \(s \in \Omega(l, S_W, W_F)\), ขนาดก้าวย่างกับขนาดฟิลเตอร์ของชั้น \(v^{th}\) คือ \(S_H \times S_W\) กับ \(H_F \times W_F\) ตามลำดับ, และ ฟังก์ชันเซต \[\begin{eqnarray} \Omega(k, S, H_F) & = & \left\{ \frac{k - i}{S} + 1: (k - i \geq 0) \;\mathrm{and}\; \left( (k - i) \;\mathrm{mod}\; S = 0 \right) \right\}_{i = 1, \ldots, H_F} \label{eq: deep conv back r set} \end{eqnarray}\]

ตัวอย่างเช่น หน่วยเอาต์พุต \(z_{fkl}^{(v-1)}\) สำหรับ \(f=1,\ldots,4; k=1,\ldots,5; l=1,\ldots,5\). นั่นคือ ชั้น \((v-1)^{st}\) มีสี่ลักษณะสำคัญ ที่เกิดจากการใช้ฟิลเตอร์สี่ตัว และได้แผนที่ลักษณะสำคัญแต่ละอันเป็นขนาด \(5 \times 5\). เมื่อ หน่วยเอาต์พุตในชั้น \((v-1)^{st}\) เชื่อมต่อกับชั้น \(v^{th}\) ที่เป็นชั้นคอนโวลูชั่น โดยชั้น \(v^{th}\) มีแปดลักษณะสำคัญ (\(q = 1, \ldots, 8\)) ใช้ฟิลเตอร์ขนาด \(3 \times 3\) สำหรับแต่ละลักษณะสำคัญ และใช้ขนาดก้าวย่างเป็น \(1 \times 1\) แล้วดังนั้น หน่วย(คอนโวลูชั่นเอาต์พุต)ของชั้น \((v-1)^{st}\) เชื่อมต่อกับหน่วย(คอนโวลูชั่นเอาต์พุต)ของชั้น \(v^{th}\) ดังนี้
\(\bullet\) \(z_{1,1,1}^{(v-1)}\) เชื่อมต่อกับ \(a_{1,1,1}^{(v)}, \ldots, a_{8,1,1}^{(v)}\)
จาก \(z_{1,1,1}^{(v-1)}\) เชื่อมต่อกับ \(a_{qrs}^{(v)}\) สำหรับ ทุก ๆ \(q = 1,\ldots, 8; r = 1; s = 1\) เพราะว่า \(z_{1,1,1}^{(v-1)}\) มี \(f = 1, k = 1, l = 1\). ที่ \(k = 1\) ทำให้ \(r \in \Omega(k=1, S=1, H=3)\). เมื่อแทนค่าลงในสมการ \(\eqref{eq: deep conv back r set}\) จะได้ว่า \(r \in \{\frac{1 - i}{1} + 1: (1 - i \geq 0) \;\mathrm{and}\; ( (1 - i) \;\mathrm{mod}\; 1 = 0) \}_{i = 1, \ldots, 3}\) และเมื่อพิจารณาสมาชิกกับเงื่อนไข. ที่ \(i = 1\), สมาชิก \(\frac{1 - 1}{1} + 1 = 1\). ที่ \(i = 2\), ค่า \(1 - 2 < 0\) ไม่ผ่านเงื่อนไขแรก. ที่ \(i = 3\), ค่า \(1 - 3 < 0\) ไม่ผ่านเงื่อนไขแรก. ดังนั้นที่ \(k = 1\) ทำให้ \(r \in \{1\}\) และในทำนองเดียวกัน ที่ \(l = 1\) ทำให้ \(s \in \{1\}\).
\(\bullet\) \(z_{1,2,1}^{(v-1)}\) เชื่อมต่อกับ \(a_{1,1,1}^{(v)}, \ldots, a_{8,1,1}^{(v)}, a_{1,2,1}^{(v)}, \ldots, a_{8,2,1}^{(v)},\)
จาก \(z_{1,1,1}^{(v-1)}\) เชื่อมต่อกับ \(a_{qrs}^{(v)}\) สำหรับ ทุก ๆ \(q = 1,\ldots, 8; r = 1, 2; s = 1\) เพราะว่า \(k = 2\) ทำให้ \(r \in \{1, 2\}\) จาก \(r \in \{\frac{2 - i}{1} + 1: (2 - i \geq 0) \;\mathrm{and}\; ( (2 - i) \;\mathrm{mod}\; 1 = 0) \}_{i = 1, \ldots, 3}\). ที่ \(i = 1\), สมาชิก \(\frac{2 - 1}{1} + 1 = 2\). ที่ \(i = 2\), สมาชิก \(\frac{2 - 2}{1} + 1 = 1\). ที่ \(i = 3\), ค่า \(2 - 3 < 0\) ไม่ผ่านเงื่อนไขแรก.
\(\bullet\) \(z_{1,3,1}^{(v-1)}\) เชื่อมต่อกับ \(a_{1,1,1}^{(v)}, \ldots, a_{8,1,1}^{(v)},\) \(a_{1,2,1}^{(v)}, \ldots, a_{8,2,1}^{(v)},\) \(a_{1,3,1}^{(v)}, \ldots, a_{8,3,1}^{(v)},\)
\(k = 3\) ทำให้ \(r \in \{1, 2, 3\}\)
\(\bullet\) \(z_{1,4,1}^{(v-1)}\) เชื่อมต่อกับ \(a_{1,2,1}^{(v)}, \ldots, a_{8,2,1}^{(v)},\) \(a_{1,3,1}^{(v)}, \ldots, a_{8,3,1}^{(v)},\) \(a_{1,4,1}^{(v)}, \ldots, a_{8,4,1}^{(v)},\)
\(k = 4\) ทำให้ \(r \in \{2, 3, 4\}\)
\(\vdots\)
\(\bullet\) \(z_{1,5,5}^{(v-1)}\) เชื่อมต่อกับ
\(a_{1,3,3}^{(v)}, \ldots, a_{8,3,3}^{(v)},\) \(a_{1,4,3}^{(v)}, \ldots, a_{8,4,3}^{(v)},\) \(a_{1,5,3}^{(v)}, \ldots, a_{8,5,3}^{(v)},\)
\(a_{1,3,4}^{(v)}, \ldots, a_{8,3,4}^{(v)},\) \(a_{1,4,4}^{(v)}, \ldots, a_{8,4,4}^{(v)},\) \(a_{1,5,4}^{(v)}, \ldots, a_{8,5,4}^{(v)},\)
\(a_{1,3,5}^{(v)}, \ldots, a_{8,3,5}^{(v)},\) \(a_{1,4,5}^{(v)}, \ldots, a_{8,4,5}^{(v)},\) \(a_{1,5,5}^{(v)}, \ldots, a_{8,5,5}^{(v)},\)
\(k = 5\) ทำให้ \(r \in \{3, 4, 5\}\). \(l = 5\) ทำให้ \(s \in \{3, 4, 5\}\).
\(\vdots\)
\(\bullet\) \(z_{4,5,5}^{(v-1)}\) เชื่อมต่อกับ
\(a_{1,3,3}^{(v)}, \ldots, a_{8,3,3}^{(v)},\) \(a_{1,4,3}^{(v)}, \ldots, a_{8,4,3}^{(v)},\) \(a_{1,5,3}^{(v)}, \ldots, a_{8,5,3}^{(v)},\)
\(a_{1,3,4}^{(v)}, \ldots, a_{8,3,4}^{(v)},\) \(a_{1,4,4}^{(v)}, \ldots, a_{8,4,4}^{(v)},\) \(a_{1,5,4}^{(v)}, \ldots, a_{8,5,4}^{(v)},\)
\(a_{1,3,5}^{(v)}, \ldots, a_{8,3,5}^{(v)},\) \(a_{1,4,5}^{(v)}, \ldots, a_{8,4,5}^{(v)},\) \(a_{1,5,5}^{(v)}, \ldots, a_{8,5,5}^{(v)},\)
\(k = 5\) ทำให้ \(r \in \{2, 3, 4\}\) และ \(l = 5\) ทำให้ \(s \in \{2, 3, 4\}\)
เป็นต้น.

สังเกต (1) ดัชนีเชิงลำดับ \(k\) และ \(l\) ของชั้น \((v-1)^{st}\) จะบอกดัชนีเชิงลำดับ \(r\) และ \(s\) สำหรับทุก ๆ ดัชนีอิสระ \(q\) ของหน่วยในชั้น \(v^{th}\) . ตาราง 1.1 แสดงความสัมพันธ์ตำแหน่งหน่วยที่ \(k\) ในชั้น \((v-1)^{st}\) กับตำแหน่งหน่วยที่ \(r\) ในชั้น \(v^{th}\). ดัชนี \(l\) ก็เป็นในลักษณะเดียวกัน. (2) หน่วยที่มีตำแหน่งเชิงลำดับเดียวกัน แต่ต่างตำแหน่งอิสระ เช่น \(z_{1, 5, 5}\) กับ \(z_{4, 5, 5}\) เชื่อมต่อกับหน่วยเดียวกัน.

[tbl: deep conv grad back]

จากการเชื่อมต่อข้างต้น เมื่อพิจารณาชั้นคอนโวลูชั่นที่ \(v^{th}\), หน่วย \(z_{fkl}^{(v-1)}\) เชื่อมต่อไปสู่เอาต์พุตสุดท้ายและค่าฟังก์ชันจุดประสงค์ ผ่าน \(a_{qrs}^{(v)}\) และจากกฎลูกโซ่ จะได้ \[\begin{eqnarray} \hat{\delta}_{fkl}^{(v-1)} = \frac{\partial E_n}{\partial z_{fkl}^{(v-1)}} = \sum_{q=1}^Q \sum_{r \in \Omega_r} \sum_{s \in \Omega_s} \frac{\partial E_n}{\partial a_{qrs}^{(v)}} \frac{\partial a_{qrs}^{(v)}}{\partial z_{fkl}^{(v-1)}} \label{eq: deep conv delta layer m 1} \end{eqnarray}\] เมื่อ \(Q\) คือจำนวนลักษณะสำคัญในชั้น \(v^{th}\), \(\Omega_r = \Omega(k, S_H, H_F)\) และ \(\Omega_s = \Omega(l, S_W, W_F)\), โดย \(H_F \times W_F\) และ \(S_H \times S_W\) เป็นขนาดฟิลเตอร์และขนาดก้าวย่างในชั้น \(v^{th}\) ตามลำดับ.

จากนิยาม \(\eqref{eq: deep conv grad delta}\) และการคำนวณคอนโวลูชั่นสมการ \(\eqref{eq: deep conv conv FxCxHxW}\) (อินพุต \(\boldsymbol{\hat{X}}\) ในสมการ \(\eqref{eq: deep conv conv FxCxHxW}\) คือ อินพุตของชั้น \(v^{th}\) ซึ่งก็คือเอาต์พุตของชั้นก่อนหน้า, นั่นคือ \(\boldsymbol{\hat{X}} \equiv \boldsymbol{Z}^{(v-1)}\) และ เพื่อให้ตัวแปรดัชนีฟิลเตอร์จำแนกได้ง่าย ที่นี้ใช้ดัชนี \(\hat{f}\) แทนดัชนีฟิลเตอร์ สำหรับการคำนวณคอนโวลูชั่น), เมื่อแทนค่าลงไปในสมการ \(\eqref{eq: deep conv delta layer m 1}\) จะได้ว่า \[\begin{eqnarray} \frac{\partial E_n}{\partial z_{fkl}^{(v-1)}} &=& \sum_q \sum_r \sum_s \delta_{qrs}^{(v)} \frac{\partial \left(b_{q,r,s}^{(v)} + \sum_{\hat{f}} \sum_i \sum_j w_{q\hat{f}ij}^{(v)} z_{\hat{f}, S_H \cdot (r - 1) + i, S_W \cdot (s - 1) + j}^{(v-1)} \right)}{\partial z_{fkl}^{(v-1)}} \nonumber \\ &=& \sum_q \sum_r \sum_s \delta_{qrs}^{(v)} \cdot w_{q,f,k-S_H \cdot (r - 1),l-S_W \cdot (s - 1)}^{(v)} \label{eq: deep conv delta layer m 3} . \end{eqnarray}\]

สังเกตว่า เพื่อคำนวณหา \(\hat{\delta}_{fkl}^{(v-1)} \equiv \frac{\partial E_n}{\partial z_{fkl}^{(v-1)}}\) สำหรับส่งไปให้ชั้น \((v-1)^{st}\), ชั้น \(v^{th}\) ต้องคำนวณ \(\delta_{qrs}^{(v)}\) และ จากสมการ \(\eqref{eq: deep conv grad delta 1}\) ค่า \(\delta_{qrs}^{(v)} = \frac{\partial E_n}{\partial z_{qrs}^{(v)}} \cdot h'\left(a_{qrs}^{(v)}\right)\) เมื่อ \(h'(\cdot)\) คืออนุพันธ์ของฟังก์ชันกระตุ้นชั้น \(v^{th}\). ส่วนค่า \(\frac{\partial E_n}{\partial z_{qrs}^{(v)}} \equiv \hat{\delta}_{qrs}^{(v)}\) ก็ได้มาจากชั้น \((v+1)^{st}\) อีกทอดหนึ่ง. หัวข้อ 1.4 และรายการ [lst: deep code convnet numpy] แสดงตัวอย่างโปรแกรมโครงข่ายคอนโวลูชั่น.

6.3.1.0.5 ขนาดก้าวย่างที่นิยม

พิจารณา \(\hat{\delta}_{fkl}^{(v-1)}\) สำหรับกรณีชั้น \(v^{th}\) ใช้ก้าวย่างขนาด \(1 \times 1\) ซึ่งเป็นขนาดที่มักถูกใช้กับชั้นคอนโวลูชั่น. กรณีนี้จะทำให้ \[\begin{eqnarray} \Omega_r &=& \{k - i + 1: k - i \geq 0 \}_{i = 1,\ldots,H_F} \label{eq: deep conv grad omega r 1x1} , \\ \Omega_s &=& \{l - i + 1: l - i \geq 0 \}_{i = 1,\ldots,W_F} \label{eq: deep conv grad omega s 1x1} . \end{eqnarray}\] และ \[\begin{eqnarray} \hat{\delta}_{fkl}^{(v-1)} &=& \sum_{q=1}^Q \sum_{r \in \Omega_r} \sum_{s \in \Omega_s} \delta_{qrs}^{(v)} \cdot w_{q,f, k - r + 1, l - s + 1} \label{eq: deep delta hat stride 1x1} \end{eqnarray}\] เมื่อแทนสมการ \(\eqref{eq: deep conv grad omega r 1x1}\) และ \(\eqref{eq: deep conv grad omega s 1x1}\) ลงในสมการข้างต้น และเขียน \(r\) และ \(s\) ในรูป \(i\) และ \(j\) จะได้ \[\begin{eqnarray} \hat{\delta}_{fkl}^{(v-1)} &=& \sum_{q=1}^Q \sum_{i \in \{1, \ldots, H_F: i \leq k\}} \sum_{j \in \{1, \ldots, W_F: j \leq l\}} \delta_{q, k - i + 1, l - j + 1}^{(v)} \cdot w_{q,f, i, j} \nonumber \end{eqnarray}\] หรือ \[\begin{eqnarray} \hat{\delta}_{fkl}^{(v-1)} &=& \sum_{q=1}^Q \sum_{i = 1}^{H_F} \sum_{j = 1}^{W_F} \delta_{q, k - i + 1, l - j + 1}^{(v)} \cdot w_{q,f, i, j} \label{eq: deep delta stride 1x1 clean} \end{eqnarray}\] สำหรับ \(k \geq i\) และ \(l \geq j\).

6.3.1.0.6 กรณีชั้นดึงรวม

หากชั้น \(v^{th}\) เป็นชั้นดึงรวม หน่วย \(z_{fkl}^{(v-1)}\) เชื่อมต่อไปสู่เอาต์พุตสุดท้ายและค่าฟังก์ชันจุดประสงค์ ผ่านหน่วย \(a_{frs}^{(v)}\). สังเกตว่า เนื่องจากชั้นดึงรวมไม่ได้ประมวลผลในชุดมิติของมิติอิสระ ดังนั้น หน่วยของชั้นดึงรวมในลักษณะสำคัญ \(f\) เกี่ยวข้องกับหน่วยก่อนหน้าในลักษณะสำคัญ \(f\) เช่นกันเท่านั้น. ชั้นดึงรวมรักษาชุดมิติอิสระไว้ (ขนาดชุดมิติอิสระของอินพุตและเอาต์พุตเท่ากัน).

พิจารณาการคำนวณเอาต์พุตของชั้นดึงรวม (สมการ \(\eqref{eq: deep conv pooling}\)) \[\begin{eqnarray} z_{frs}^{(v)} = g( \{ z_{f, S_H \cdot (r-1)+i, S_W \cdot (s-1)+j}^{(v-1)} \}_{i=1,\ldots, H_F, j=1,\ldots, W_F} ) \label{eq: deep pooling z = g(set)} \end{eqnarray}\] เมื่อ \(\{ z_{f, S_H \cdot (r-1)+i, S_W \cdot (s-1)+j}^{(v-1)} \}_{i=1,\ldots, H_F, j=1,\ldots, W_F}\) เป็นเซตของหน่วยต่าง ๆ ที่ถูกดึงมารวมกัน, \(g(\cdot)\) เป็นฟังก์ชันดึงรวม, และ \(z_{frs}^{(v)}\) คือเอาต์พุตของชั้น \(v^{th}\) ซึ่งเป็นชั้นดึงรวม โดย \(S_H \times S_W\) กับ \(H_F \times W_F\) คือขนาดก้าวย่างกับขนาดฟิลเตอร์ ของชั้น \(v^{th}\) ตามลำดับ.

สังเกตความสัมพันธ์ระหว่าง \(z_{fkl}^{(v-1)}\) กับ \(z_{frs}^{(v)}\) ในชั้นดึงรวม จะคล้ายกับความสัมพันธ์ในชั้นคอนโวลูชั่น โดยต่างกันที่ (1) ชั้นดึงรวมไม่มีการคำนวณค่ากระตุ้น \(a\) และ (2) ชั้นดึงรวมไม่ได้ประมวลผลในชุดมิติของมิติอิสระ. แต่หากมองเฉพาะความสัมพันธ์ในชุดมิติเชิงลำดับ จะพบว่าหน่วยในชั้นดึงรวมมีความสัมพันธ์กับหน่วยในชั้นติดกัน ในลักษณะเดียวกับชั้นคอนโวลูชั่น (เปรียบเทียบดัชนีชุดมิติเชิงลำดับ สมการ \(\eqref{eq: deep conv pooling}\) กับ สมการ \(\eqref{eq: deep conv conv FxCxHxW}\)) ดังนั้น เมื่อโยงความสัมพันธ์ย้อนกลับ ชั้นดึงรวมก็สามารถใช้ฟังก์ชัน \(\Omega(\cdot)\) ในสมการ \(\eqref{eq: deep conv back r set}\) ช่วยอธิบายความสัมพันธ์ได้ในลักษณะเดียวกัน.

เมื่อพิจารณา \(\hat{\delta}_{fkl}^{(v-1)} \equiv \frac{\partial E_n}{\partial z_{fkl}^{(v-1)}}\) และจากกฎลูกโซ่ จะได้ \[\begin{eqnarray} \frac{\partial E_n}{\partial z_{fkl}^{(v-1)}} = \sum_{r \in \Omega_r} \sum_{s \in \Omega_s} \frac{\partial E_n}{\partial z_{frs}^{(v)}} \frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} \label{eq: deep conv delta layer m 1 next pooling} \end{eqnarray}\] เมื่อ \(\Omega_r = \Omega(k, S_H, H_F)\) และ \(\Omega_s = \Omega(l, S_W, W_F)\).

เมื่อแทน \(\frac{\partial E_n}{\partial z_{frs}^{(v)}} = \hat{\delta}_{frs}^{(v)}\) ลงไปจะได้ \[\begin{eqnarray} \frac{\partial E_n}{\partial z_{fkl}^{(v-1)}} = \sum_{r \in \Omega_r} \sum_{s \in \Omega_s} \hat{\delta}_{frs}^{(v)} \frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} \label{eq: deep conv grad delta hat next pooling} . \end{eqnarray}\]

ชั้น \(v^{th}\) รับค่า \(\hat{\delta}_{frs}^{(v)}\) มาจากชั้น \((v+1)^{st}\). ส่วนค่า \(\frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}}\) สามารถคำนวณได้ในชั้น \(v^{th}\) นี้ โดยการหาอนุพันธ์ ดังนี้ \[\begin{eqnarray} \frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} &=& \frac{\partial g( \{ z_{f, S_H \cdot (r-1)+i, S_W \cdot (s-1)+j}^{(v-1)} \}_{i=1,\ldots, H_F, j=1,\ldots, W_F} )}{\partial z_{fkl}^{(v-1)}} \end{eqnarray}\] ซึ่งผลการหาอนุพันธ์จะขึ้นกับฟังก์ชันดึงรวม. พิจารณาฟังก์ชันดึงรวม \(3\) แบบ ได้แก่ แบบมากที่สุด (max pooling), แบบเฉลี่ย (average pooling), และแบบอาร์เอ็มเอส (root-mean-squared pooling หรือ rms pooling).

6.3.1.0.7 เมื่อใช้การดึงรวมแบบมากที่สุด

นั่นคือ ฟังก์ชันดึงรวม \(g( \{ z_1, \ldots, z_n \} )\) \(=\) \(\max\{ z_1, \ldots, z_n \}\) และจะได้ว่า \[\begin{eqnarray} \frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} &=& \left\{ \begin{array}{l l} 1 & \;\mbox{เมื่อ}\; z_{fkl}^{(v-1)} = \max\{ \{ z_{f, S_H \cdot (r-1)+i, S_W \cdot (s-1)+j}^{(v-1)} \}_{i=1,\ldots, H_F, j=1,\ldots, W_F} \}, \\ 0 & \;\mbox{เมื่อ}\; z_{fkl}^{(v-1)} \neq \max\{ \{ z_{f, S_H \cdot (r-1)+i, S_W \cdot (s-1)+j}^{(v-1)} \}_{i=1,\ldots, H_F, j=1,\ldots, W_F} \}. \end{array} \right. \nonumber \\ \; \label{eq: deep conv grad max pool} . \end{eqnarray}\]

6.3.1.0.8 เมื่อใช้การดึงรวมแบบเฉลี่ย

นั่นคือ ฟังก์ชันดึงรวม \(g( \{ z_1, \ldots, z_n \} ) = \frac{1}{n} \sum_{i=1}^n z_i\) และจะได้ว่า \[\begin{eqnarray} \frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} &=& \frac{1}{H_F W_F} \label{eq: deep conv grad average pool} . \end{eqnarray}\]

6.3.1.0.9 เมื่อใช้การดึงรวมแบบอาร์เอ็มเอส

นั่นคือ ฟังก์ชันดึงรวม \(g( \{ z_1, \ldots, z_n \} ) = \sqrt{\frac{1}{n} \sum_{i=1}^n z_i^2}\) และจะได้ว่า \[\begin{eqnarray} \frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} &=& \frac{z_{fkl}^{(v-1)}}{H_F W_F \cdot z_{frs}^{(v)}} \label{eq: deep conv grad rms pool} \end{eqnarray}\]

ชั้นดึงรวมเองไม่มีค่าน้ำหนักที่ต้องปรับ จึงไม่ต้องคำนวณเกรเดียนต์เทียบน้ำหนักของชั้น แต่ชั้นดึงรวมต้องผ่านค่า \(\hat{\delta}_{fkl}^{(v-1)} = \frac{\partial E_n}{\partial z_{fkl}^{(v-1)}}\) ไปให้ชั้น \((v-1)^{st}\).

6.4.1.0.1 กรณีเอาต์พุต

ในทีนี้ หมายถึง การคำนวณแรกสุด (ก่อนการคำนวณชั้นสุดท้าย). ที่กรณีชั้น \(v^{th}\) เป็นเอาต์พุต (\(v = M+1\)) เอาต์พุตไม่มีค่าน้ำหนักที่ต้องปรับ แต่ต้องการคำนวณ \(\hat{\delta}^{(v-1)} = \hat{\delta}^{(M)}\) เพื่อส่งกลับให้ชั้นคำนวณสุดท้าย.

ค่า \(\hat{\delta}_{fkl}^{(M)}\) สามารถหาได้จาก \[\hat{\delta}_{fkl}^{(M)} = \frac{\partial E_n}{\partial z_{fkl}^{(M)}} \nonumber\] ซึ่งมักหาได้ไม่ยาก เนื่องจากฟังก์ชันจุดประสงค์ \(E_n\) มักถูกนิยามในพจน์ของ \(z_{fkl}^{(M)}\).

6.4.1.0.2 กรณีชั้นเชื่อมต่อเต็มที่

ที่กรณีชั้น \(v^{th}\) เป็นชั้นเชื่อมต่อเต็มที่ ชั้น \(v^{th}\) รับ \(\hat{\delta}_j^{(v)}\) มาจากชั้น \((v+1)^{st}\) และชั้น \(v^{th}\) คำนวณเกรเดียนต์เทียบกับน้ำหนักของชั้นจากสมการ \(\eqref{eq: ANN BP dE/dw}\). นั่นคือ \[\begin{eqnarray} \frac{\partial E_n}{\partial w_{jq}^{(v)}} &=& \delta_j^{(v)} z_q^{(v-1)} \nonumber \\ \frac{\partial E_n}{\partial b_j^{(v)}} &=& \delta_j^{(v)} \nonumber \end{eqnarray}\] เมื่อ \(\delta_j^{(v)} = \hat{\delta}_j^{(v)} \cdot h'(a_j^{(v)})\) โดย \(h'(\cdot)\) เป็นอนุพันธ์ของฟังก์ชันกระตุ้นในชั้น \(v^{th}\).

ชั้น \(v^{th}\) คำนวณ \(\hat{\delta}_q^{(v-1)}\) เพื่อส่งย้อนไปให้ชั้น \((v-1)^{st}\) จากสมการ \(\eqref{eq: ANN BP delta j}\). นั่นคือ \[\hat{\delta}_q^{(v-1)} = \sum_j w_{jq}^{(v)} \delta_j^{(v)} \nonumber\] สำหรับ \(q = 1, \ldots, Q\) เมื่อ \(Q\) เป็นจำนวนเอาต์พุตทั้งหมดของชั้น \((v-1)^{st}\).

หากชั้น \((v-1)^{st}\) เป็นชั้นคอนโวลูชั่นหรือชั้นดึงรวม ต้องทำการรื้อฟื้นโครงสร้างกลับมาใหม่ นั่นคือ \[\hat{\delta}_{fkl}^{(v-1)} = \hat{\delta}_q^{(v-1)} \nonumber\] เมื่อ \(q = l + W' \cdot (k - 1) + H' W' \cdot (f - 1)\) สำหรับ \(q = 1, \ldots, F' \cdot H' \cdot W'\) โดย \(F', H', W'\) คือจำนวนลักษณะสำคัญ, ขนาดเอาต์พุตแนวตั้ง, ขนาดเอาต์พุตแนวนอนของชั้น \((v-1)^{st}\) ตามลำดับ.

6.4.1.0.3 กรณีชั้นดึงรวม

ที่กรณีชั้น \(v^{th}\) เป็นชั้นดึงรวม ชั้น \(v^{th}\) รับ \(\hat{\delta}_{frs}^{(v)}\) มาจากชั้น \((v+1)^{st}\). ชั้นดึงรวมไม่มีค่าน้ำหนัก ไม่จำเป็นต้องคำนวณเกรเดียนต์ แต่ชั้นดึงรวมต้องส่ง \(\hat{\delta}_{fkl}^{(v-1)}\) ไปให้ชั้น \((v-1)^{st}\). ค่า \(\hat{\delta}_{fkl}^{(v-1)}\) คำนวณได้จากสมการ \(\eqref{eq: deep conv grad delta hat next pooling}\). นั่นคือ \[\hat{\delta}_{fkl}^{(v-1)} = \sum_{r \in \Omega_r} \sum_{s \in \Omega_s} \hat{\delta}_{frs}^{(v)} \frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} \nonumber\] สำหรับ \(f = 1, \ldots, F'\); \(k = 1, \ldots, H'\) และ \(l = 1, \ldots, W'\) เมื่อ \(\Omega_r = \Omega(k, S_H, H_F)\); \(\Omega_s = \Omega(l, S_W, W_F)\) และ \(F', H', W'\) คือจำนวนลักษณะสำคัญ, ขนาดเอาต์พุตแนวตั้ง, ขนาดเอาต์พุตแนวนอนของชั้น \((v-1)^{st}\) ตามลำดับ.

ฟังก์ชันเซตคำนวณได้จากสมการ \(\eqref{eq: deep conv back r set}\), \[\Omega(k, S, H) = \left\{ \frac{k - i}{S} + 1: (k - i \geq 0) \;\mathrm{and}\; \left( (k - i) \;\mathrm{mod}\; S = 0 \right) \right\}_{i = 1, \ldots, H} \nonumber .\]

ค่า \(\frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}}\) ขึ้นกับชนิดการดึงรวม. การดึงรวมแบบมากที่สุด ใช้สมการ \(\eqref{eq: deep conv grad max pool}\), \[\frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} = \left\{ \begin{array}{l l} 1 & \;\mbox{เมื่อ}\; z_{fkl}^{(v-1)} = \max( \{ z_{f, S_H \cdot (r-1)+i, S_W \cdot (s-1)+j}^{(v-1)} \}_{i=1,\ldots, H_F, j=1,\ldots, W_F} ), \\ 0 & \;\mbox{อื่น ๆ}. \end{array} \right. \nonumber\]

การดึงรวมแบบเฉลี่ย ใช้สมการ \(\eqref{eq: deep conv grad average pool}\), \[\frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} = \frac{1}{H_F W_F} \nonumber\] เมื่อ \(H_F \times W_F\) เป็นขนาดของฟิลเตอร์ชั้นที่ \(v^{th}\).

การดึงรวมแบบอาร์เอ็มเอส ใช้สมการ \(\eqref{eq: deep conv grad rms pool}\) \[\frac{\partial z_{frs}^{(v)}}{\partial z_{fkl}^{(v-1)}} = \frac{z_{fkl}^{(v-1)}}{H_F W_F \cdot z_{frs}^{(v)}} \nonumber\] เมื่อ \(H_F \times W_F\) เป็นขนาดของฟิลเตอร์ชั้นที่ \(v^{th}\).

6.4.1.0.4 กรณีชั้นคอนโวลูชั่น

ที่กรณีชั้น \(v^{th}\) เป็นชั้นคอนโวลูชั่น ชั้น \(v^{th}\) รับ \(\hat{\delta}_{qrs}^{(v)}\) มาจากชั้น \((v+1)^{st}\) และชั้น \(v^{th}\) คำนวณเกรเดียนต์เทียบกับน้ำหนักของชั้นจากสมการ \(\eqref{eq: deep conv grad E/w 2}\) และสมการ \(\eqref{eq: deep conv grad E/b}\). นั่นคือ

\[\begin{eqnarray} \frac{\partial E_n}{\partial w_{qfij}^{(v)}} &=& \sum_{r=1}^{H} \sum_{s=1}^{W} \delta_{qrs}^{(v)} z_{f, S_H \cdot (r-1)+i, S_W \cdot (s-1)+j}^{(v-1)} \nonumber \\ \frac{\partial E_n}{\partial b_q^{(v)}} &=& \sum_{r=1}^{H} \sum_{s=1}^{W} \delta_{qrs}^{(v)} \nonumber \end{eqnarray}\] สำหรับ \(q = 1, \ldots, F\); \(f = 1, \ldots, F'\); \(i = 1, \ldots, H_F\) และ \(j = 1, \ldots, W_F\) เมื่อ \(F, H_F, W_F\) เป็นจำนวนลักษณะสำคัญ ขนาดฟิลเตอร์แนวตั้ง ขนาดฟิลเตอร์แนวนอนของชั้น \(v^{th}\) ตามลำดับ, \(F'\) เป็นจำนวนลักษณะสำคัญของชั้น \((v-1)^{st}\), ค่า \(z_{f, S_H \cdot (r-1)+i, S_W \cdot (s-1)+j}^{(v-1)}\) คือ อินพุตของชั้น \(v^{th}\) ที่ผ่านการเติมเต็มแล้ว, \(S_H\) และ \(S_W\) เป็นค่าก้าวย่างตามแนวตั้งและนอนของชั้น \((v-1)^{st}\) และ \(\delta_{qrs}^{(v)} = \hat{\delta}_{qrs}^{(v)} \cdot h'(a_{qrs}^{(v)})\) โดย \(h'(a_{qrs}^{(v)})\) เป็นอนุพันธ์การกระตุ้นของชั้น \(v^{th}\).

ชั้น \(v^{th}\) คำนวณ \(\hat{\delta}_{fkl}^{(v-1)}\) เพื่อส่งย้อนไปให้ชั้น \((v-1)^{st}\) จากสมการ \(\eqref{eq: deep conv delta layer m 3}\). นั่นคือ

\[\begin{eqnarray} \hat{\delta}_{fkl}^{(v-1)} &=& \sum_{q=1}^F \sum_{r \in \Omega_r} \sum_{s \in \Omega_s} \delta_{qrs}^{(v)} \cdot w_{q,f,k-S_H \cdot (r - 1),l-S_W \cdot (s - 1)}^{(v)} \nonumber \end{eqnarray}\] สำหรับ \(f = 1, \ldots, F'\); \(k = 1, \ldots, H'\) และ \(l = 1, \ldots, W'\) เมื่อ \(\Omega_r = \Omega(k, S_H, H_F)\); \(\Omega_s = \Omega(l, S_W, W_F)\); \(F, H_F, W_F, S_H, S_W\) คือจำนวนลักษณะสำคัญ ขนาดฟิลเตอร์ตามแนวตั้ง ขนาดฟิลเตอร์ตามแนวนอน ขนาดก้าวย่างตามแนวตั้ง ขนาดก้าวย่างตามแนวนอนของชั้น \(v^{th}\) ตามลำดับ, \(F', H', W'\) คือจำนวนลักษณะสำคัญ, ขนาดเอาต์พุตแนวตั้ง, ขนาดเอาต์พุตแนวนอนของชั้น \((v-1)^{st}\) ตามลำดับ และ จากสมการ \(\eqref{eq: deep conv back r set}\), \(\Omega(k, S, H) = \{ \frac{k - i}{S} + 1: (k - i \geq 0) \;\mathrm{and}\; \left( (k - i) \;\mathrm{mod}\; S = 0 \right) \}_{i = 1, \ldots, H}\).

6.4.1.0.5 พารามิเตอร์ที่นิยม.

แม้ว่าปัจจุบันอาจจะยังไม่มีทฤษฎีที่ศึกษาอย่างดีรับรองการเลือกพารามิเตอร์ต่าง ๆ แต่ค่าพารามิเตอร์ที่นิยมใช้สำหรับโครงข่ายคอนโวลูชั่น ได้แก่ สำหรับชั้นคอนโวลูชั่น นิยมใช้กับ ฟิลเตอร์ขนาดเป็น \(3 \times 3\) หรือ \(5 \times 5\) และขนาดก้าวย่างเป็น \(1 \times 1\). สำหรับชั้นดึงรวม นิยมใช้กับ ฟิลเตอร์ขนาดเป็น \(2 \times 2\) หรือ \(3 \times 3\) และขนาดก้าวย่างเป็น \(2 \times 2\).