Free Lunch for Few-shot Learning: Distribution Calibration #14
Description
1. 概要（基本アイデア）
- Few-Shot Learning時にデータ水増しをすることで精度の改善を図る
- データ水増しは，提案法で推定したFew-Shot Sample各クラスの正規分布からランダムサンプルする
ランダムサンプルデータに対して，SVM, 最大尤度などシンプルな識別器を使うだけで，高い精度
2. 新規性
大規模データから少数サンプルデータの正規分布をキャリブレーションするアイデア
3. 手法詳細
問題設定；
少数データセットに加えて，大規模データセットを補助として使える（それぞれ共通のクラスは無し）
手法；
One-Shot learningの場合
xをあるクラスのサンプルデータ(特徴量)とする
- xの類似クラスを大規模データからk個探してくる
- 平均\muと共分散\Sigmaを下記で推定+キャリブレーション（式6)
\mu = \sum_{i=1}^k {\mu_i + x } / (k + 1)
\Sigma = \sum_{i=1}^k {\Sigma_k} / k + \alpha
\mu_i，\Sigma_iはそれぞれある類似クラスの平均と共分散行列
\alphaはハイパラで足すとなぜかいいらしい（一様分布に近づける感じ?)
- 上記のパラメータからランダムサンプリングし識別器を学習
- 類似クラス : xと平均のユークリッド距離を使ってk個の近傍クラスを見つける
N-shot learningの場合
- One-shot learning1.2.の手順をN回実施
- Nこの正規分布からランダムサンプリングし，識別器を学習
4. 結果
WideResNetを特徴抽出器として使い，
提案法でSVMやロジスティック回帰を学習するだけで，従来のDNNベースの手法より高精度な識別ができる
\Sigmaの推定には対象クラスの情報が入っていないが，
\muからxをなくしたら精度が悪化するらしい
5. 論文，コード等へのリンク
論文：https://openreview.net/forum?id=JWOiYxMG92s
コード：https://github.com/ShuoYang-1998/Few_Shot_Distribution_Calibration
6. 感想，コメント
SVMなどで圧倒的な精度が出ているのですごい
平均の推定がシンプル：類似クラスか否かを判定する際に使った距離とかで重みづけとかしないのかなと思った
提案法の出発点が，類似クラス同士の平均と分散は似ている[1]だったので，[1]の内容が気になった
[1] Ruslan Salakhutdinov, Joshua Tenenbaum, and Antonio Torralba. One-shot learning with a hierarchical nonparametric bayesian model. In ICML workshop, 2012.
7. bibtex
@inproceedings{
yang2021free,
title={Free Lunch for Few-shot Learning: Distribution Calibration},
author={Shuo Yang and Lu Liu and Min Xu},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=JWOiYxMG92s}
}