?PaperWeekly 原創(chuàng) · 作者 | 孫裕道

學(xué)校 | 北京郵電大學(xué)博士生

研究方向 | GAN圖像生成、情緒對(duì)抗樣本生成

元學(xué)習(xí)（meta-learning）是過(guò)去幾年最火爆的學(xué)習(xí)方法之一，各式各樣的 paper 都是基于元學(xué)習(xí)展開的。深度學(xué)習(xí)模型訓(xùn)練模型特別吃計(jì)算硬件，尤其是人為調(diào)超參數(shù)時(shí)候，更需要大量的計(jì)算。另一個(gè)頭疼的問(wèn)題是在某個(gè)任務(wù)下大量數(shù)據(jù)訓(xùn)練的模型，切換到另一個(gè)任務(wù)后，模型就需要重新訓(xùn)練，這樣非常耗時(shí)耗力。工業(yè)界財(cái)大氣粗有大量的 GPU 可以承擔(dān)起這樣的計(jì)算成本，但是學(xué)術(shù)界因?yàn)榻?jīng)費(fèi)有限經(jīng)不起這樣的消耗。元學(xué)習(xí)可以有效的緩解大量調(diào)參和任務(wù)切換模型重新訓(xùn)練帶來(lái)的計(jì)算成本問(wèn)題。

元學(xué)習(xí)介紹

元學(xué)習(xí)希望使得模型獲取一種學(xué)會(huì)學(xué)習(xí)調(diào)參的能力，使其可以在獲取已有知識(shí)的基礎(chǔ)上快速學(xué)習(xí)新的任務(wù)。機(jī)器學(xué)習(xí)是先人為調(diào)參，之后直接訓(xùn)練特定任務(wù)下深度模型。元學(xué)習(xí)則是先通過(guò)其它的任務(wù)訓(xùn)練出一個(gè)較好的超參數(shù)，然后再對(duì)特定任務(wù)進(jìn)行訓(xùn)練。

在機(jī)器學(xué)習(xí)中，訓(xùn)練單位是樣本數(shù)據(jù)，通過(guò)數(shù)據(jù)來(lái)對(duì)模型進(jìn)行優(yōu)化；數(shù)據(jù)可以分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。在元學(xué)習(xí)中，訓(xùn)練單位是任務(wù)，一般有兩個(gè)任務(wù)分別是訓(xùn)練任務(wù)（Train Tasks）亦稱跨任務(wù)（Across Tasks）和測(cè)試任務(wù)（Test Task）亦稱單任務(wù)（Within Task）。訓(xùn)練任務(wù)要準(zhǔn)備許多子任務(wù)來(lái)進(jìn)行學(xué)習(xí)，目的是學(xué)習(xí)出一個(gè)較好的超參數(shù)，測(cè)試任務(wù)是利用訓(xùn)練任務(wù)學(xué)習(xí)出的超參數(shù)對(duì)特定任務(wù)進(jìn)行訓(xùn)練。訓(xùn)練任務(wù)中的每個(gè)任務(wù)的數(shù)據(jù)分為 Support set 和 Query set；Test Task 中數(shù)據(jù)分為訓(xùn)練集和測(cè)試集。

令 表示需要設(shè)置的超參數(shù)， 表示神經(jīng)網(wǎng)絡(luò)待訓(xùn)練的參數(shù)。元學(xué)習(xí)的目的就是讓函數(shù) 在訓(xùn)練任務(wù)中自動(dòng)訓(xùn)練出 ，再利用 這個(gè)先驗(yàn)知識(shí)在測(cè)試任務(wù)中訓(xùn)練出特定任務(wù)下模型 中的參數(shù) ，如下所示的依賴關(guān)系：

當(dāng)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)的時(shí)候，具體一般步驟有，預(yù)處理數(shù)據(jù)集 ，選擇網(wǎng)絡(luò)結(jié)構(gòu) ，設(shè)置超參數(shù) ，初始化參數(shù) ，選擇優(yōu)化器 ，定義損失函數(shù) ，梯度下降更新參數(shù) 。具體步驟如下圖所示：

展開全文

元學(xué)習(xí)會(huì)去學(xué)習(xí)所有需要由人去設(shè)置和定義的參數(shù)變量 。在這里參數(shù)變量 屬于集合為 ，則有：

不同的元學(xué)習(xí)，就要去學(xué)集合 中不同的元素，相應(yīng)的就會(huì)有不同的研究領(lǐng)域。

學(xué)習(xí)預(yù)處理數(shù)據(jù)集 ： 對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的時(shí)候，數(shù)據(jù)增強(qiáng)會(huì)增加模型的魯棒性，一般的數(shù)據(jù)增強(qiáng)方式比較死板，只是對(duì)圖像進(jìn)行旋轉(zhuǎn)，顏色變換，伸縮變換等。元學(xué)習(xí)可以自動(dòng)地，多樣化地為數(shù)據(jù)進(jìn)行增強(qiáng)，相關(guān)的代表作為 DADA。

論文名稱：DADA: Differentiable Automatic Data Augmentation

論文鏈接：https://arxiv.org/pdf/2003.03780v1.pdf

論文詳情：ECCV 2020

論文名稱：DADA: Differentiable Automatic Data Augmentation

論文鏈接：https://arxiv.org/pdf/2003.03780v1.pdf

論文詳情：ECCV 2020

學(xué)習(xí)初始化參數(shù) ：權(quán)重參數(shù)初始化的好壞可以影響模型最后的分類性能，元學(xué)習(xí)可以通過(guò)學(xué)出一個(gè)較好的權(quán)重初始化參數(shù)有助于模型在新的任務(wù)上進(jìn)行學(xué)習(xí)。元學(xué)習(xí)學(xué)習(xí)初始化參數(shù)的代表作是 MAML（Model-Agnostic-Meta-Learning）。它專注于提升模型整體的學(xué)習(xí)能力，而不是解決某個(gè)具體問(wèn)題的能力，訓(xùn)練時(shí)，不停地在不同的任務(wù)上切換，從而達(dá)到初始化網(wǎng)絡(luò)參數(shù)的目的，最終得到的模型，面對(duì)新的任務(wù)時(shí)可以學(xué)習(xí)得更快。

論文名稱：Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

論文鏈接：https://arxiv.org/pdf/1703.03400.pdf

論文詳情：ICML2017

論文名稱：Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

論文鏈接：https://arxiv.org/pdf/1703.03400.pdf

論文詳情：ICML2017

學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu) ：神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)定是一個(gè)很頭疼的問(wèn)題，網(wǎng)絡(luò)的深度是多少，每一層的寬度是多少，每一層的卷積核有多少個(gè)，每個(gè)卷積核的大小又該怎么定，需不需要 dropout 等等問(wèn)題，到目前為止沒有一個(gè)定論或定理能夠清晰準(zhǔn)確地回答出以上問(wèn)題，所以神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索 NAS 應(yīng)運(yùn)而生。歸根結(jié)底，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)其實(shí)是元學(xué)習(xí)地一個(gè)子類領(lǐng)域。值得注意的是，網(wǎng)絡(luò)結(jié)構(gòu)的探索不能通過(guò)梯度下降法來(lái)獲得，這是一個(gè)不可導(dǎo)問(wèn)題，一般情況下會(huì)采用強(qiáng)化學(xué)習(xí)或進(jìn)化算法來(lái)解決。

論文名稱：Neural Architecture Search with Reinforcement Learning

論文鏈接：https://arxiv.org/abs/1611.01578

論文詳情：ICLR 2017

論文名稱：Neural Architecture Search with Reinforcement Learning

論文鏈接：https://arxiv.org/abs/1611.01578

論文詳情：ICLR 2017

學(xué)習(xí)選擇優(yōu)化器 ：神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程中很重要的一環(huán)就是優(yōu)化器的選取，不同的優(yōu)化器會(huì)對(duì)優(yōu)化參數(shù)時(shí)對(duì)梯度的走向有很重要的影響。熟知的優(yōu)化器有Adam，RMsprop，SGD，NAG等，元學(xué)習(xí)可以幫我們?cè)谟?xùn)練特定任務(wù)前選擇一個(gè)好的的優(yōu)化器，其代表作有：

論文名稱：Learning to learn by gradient descent by gradient descent

論文鏈接：https://arxiv.org/pdf/1606.04474.pdf

論文詳情：NIPS 2016

論文名稱：Learning to learn by gradient descent by gradient descent

論文鏈接：https://arxiv.org/pdf/1606.04474.pdf

論文詳情：NIPS 2016

元學(xué)習(xí)訓(xùn)練

元學(xué)習(xí)分為兩個(gè)階段，階段一是訓(xùn)練任務(wù)訓(xùn)練；階段二為測(cè)試任務(wù)訓(xùn)練。對(duì)應(yīng)于一些論文的算法流程圖，訓(xùn)練任務(wù)是在 outer loop 里，測(cè)試任務(wù)任務(wù)是在 inner loop 里。

2.1 階段一：訓(xùn)練任務(wù)訓(xùn)練

在訓(xùn)練任務(wù)中給定 個(gè)子訓(xùn)練任務(wù)，每個(gè)子訓(xùn)練任務(wù)的數(shù)據(jù)集分為 Support set 和 Query set。首先通過(guò)這 個(gè)子任務(wù)的 Support set 訓(xùn)練 ，分別訓(xùn)練出針對(duì)各自子任務(wù)的模型參數(shù) 。然后用不同子任務(wù)中的 Query set 分別去測(cè)試 的性能，并計(jì)算出預(yù)測(cè)值和真實(shí)標(biāo)簽的損失 。接著整合這 個(gè)損失函數(shù)為 ：

最后利用梯度下降法去求出 去更新參數(shù) ，從而找到最優(yōu)的超參設(shè)置；如果 不可求，則可以采用強(qiáng)化學(xué)習(xí)或者進(jìn)化算法去解決。階段一中訓(xùn)練任務(wù)的訓(xùn)練過(guò)程被整理在如下的框圖中。

2.2 階段二：測(cè)試任務(wù)訓(xùn)練

測(cè)試任務(wù)就是正常的機(jī)器學(xué)習(xí)的過(guò)程，它將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。階段一中訓(xùn)練任務(wù)的目的是找到一個(gè)好的超參設(shè)置 ，利用這個(gè)先驗(yàn)知識(shí)可以對(duì)特定的測(cè)試任務(wù)進(jìn)行更好的進(jìn)行訓(xùn)練。階段二中測(cè)試任務(wù)的訓(xùn)練過(guò)程被整理在如下的框圖中。

實(shí)例講解

上一節(jié)主要是給出了元學(xué)習(xí)兩階段的學(xué)習(xí)框架，這一節(jié)則是給出實(shí)例并加以說(shuō)明。明確超參 為初始化權(quán)重參數(shù)，通過(guò)元學(xué)習(xí)讓模型學(xué)習(xí)出一個(gè)較優(yōu)的初始化權(quán)重。假設(shè)在 AcrossTasks 中有 個(gè)子任務(wù)，第 個(gè)子任務(wù) Support set 和 Query set 分別是 和 。第 個(gè)子任務(wù)的網(wǎng)絡(luò)權(quán)重參數(shù)為 ，元學(xué)習(xí)初始化的參數(shù)為 的原理圖如下所示，其具體過(guò)程為：

第一步：將所有子任務(wù)分類器的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置為一樣的，從 個(gè)子任務(wù)中隨機(jī)采樣出 個(gè)子任務(wù)，并將初始權(quán)重 賦值給這 個(gè)網(wǎng)絡(luò)結(jié)構(gòu)。

第二步：采樣出的 個(gè)子任務(wù)分別在各自的 Support set 上進(jìn)行訓(xùn)練并更新參數(shù) 。在 MAML 中參數(shù) 更新一步，在 Reptile 中參數(shù) 更新多步。

第三步：利用上一步訓(xùn)練出的 在 Query set 中進(jìn)行測(cè)試，計(jì)算出各自任務(wù)下的損失函數(shù) 。

第四步：將不同子任務(wù)下的損失函數(shù) 進(jìn)行整合得到 。

第五步：求出損失函數(shù) 關(guān)于 的導(dǎo)數(shù)，并對(duì)初始化參數(shù) 進(jìn)行更新。

循環(huán)以上個(gè)步驟，直到達(dá)到要求為止。

為了能夠更直觀的給出利用 更新參數(shù) 的過(guò)程，我硬著頭皮把梯度 的顯示表達(dá)式給寫了出來(lái)，具體形式如下所示：

從這個(gè)公式中也能隱約的發(fā)現(xiàn)整個(gè)訓(xùn)練過(guò)程的縮影，它已經(jīng)把所有的變量都囊括了進(jìn)去，這個(gè)公式也直接回答了一個(gè)問(wèn)題，元學(xué)習(xí)自動(dòng)學(xué)習(xí)權(quán)重參數(shù) 是一個(gè)可導(dǎo)問(wèn)題。

整理到這里有一個(gè)問(wèn)題必須要被回答，元學(xué)習(xí)學(xué)習(xí)初始化權(quán)重的方法和預(yù)訓(xùn)練方法有什么區(qū)別？為了能夠更直觀的對(duì)比這兩個(gè)方法的異同，將預(yù)訓(xùn)練的過(guò)程整理為如下流程圖，具體的過(guò)程為：

第一步：前提只有一個(gè)神經(jīng)網(wǎng)路模型其初始化權(quán)重參數(shù)為 ，從 個(gè)子任務(wù)中隨機(jī)采樣出 個(gè)子任務(wù)。

第二步：神經(jīng)網(wǎng)絡(luò)模型在采樣出的 個(gè)子任務(wù)中進(jìn)行訓(xùn)練，得到不同子任務(wù)中的損失 。

第三步：將不同子任務(wù)下的損失函數(shù) 進(jìn)行整合得到 。

第四步：求出損失函數(shù) 關(guān)于 的導(dǎo)數(shù)，并對(duì)初始化參數(shù) 進(jìn)行更新。

循環(huán)以上個(gè)步驟，直到達(dá)到要求為止。對(duì)應(yīng)的在預(yù)訓(xùn)練過(guò)程中，梯度 的表達(dá)式為：

可以發(fā)現(xiàn)在相同的網(wǎng)絡(luò)結(jié)構(gòu)下，預(yù)訓(xùn)練是只有一套模型參數(shù)在不同的任務(wù)中進(jìn)行訓(xùn)練，元學(xué)習(xí)是在不同的任務(wù)中有不同的模型參數(shù)進(jìn)行訓(xùn)練。對(duì)比二者的梯度公式可以發(fā)現(xiàn)，預(yù)訓(xùn)練過(guò)程簡(jiǎn)單粗暴它想找到一個(gè)在所有任務(wù)（實(shí)際情況往往是大多數(shù)任務(wù)）上都表現(xiàn)較好的一個(gè)初始化參數(shù)，這個(gè)參數(shù)要在多數(shù)任務(wù)上當(dāng)前表現(xiàn)較好。元學(xué)習(xí)過(guò)程相對(duì)繁瑣，但它更關(guān)注的是初始化參數(shù)未來(lái)的潛力。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

# 投 稿 通 道#

讓你的文字被更多人看到

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？ 答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是 最新論文解讀，也可以是 學(xué)術(shù)熱點(diǎn)剖析、 科研心得或 競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?? 稿件基本要求：

? 文章確系個(gè)人 原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注

? 稿件建議以 markdown格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供 業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?? 投稿通道：

? 投稿郵箱：hr@paperweekly.site

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（ pwbot02）快速投稿，備注：姓名-投稿

??

現(xiàn)在，在 「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索 「PaperWeekly」

·