René's URL Explorer Experiment

{"@context":"https://schema.org","@type":"DiscussionForumPosting","headline":"BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain","articleBody":"## 公開日\r\n2017-08-22\r\n\r\n## 1. 概要\r\nDeep learningは各分野で成果を出しているが、計算リソースが必要になるため、クラウド上で学習するサービス（MLaaS）がある。また、既存のモデルを利用したり、転移学習させることでコストを下げる方法があり、アウトソーシングが主流になりつつある。だが、学習時にバックドアをネットワークに仕込むことができ、通常のテストケースでは何も問題がないものの、特定のトリガーを入力させることで誤識別させることができる。これをBadNetsと呼ぶ。\r\n## 2. 新規性・差分\r\n\r\n## 3. 手法\r\n### outsourced training attack\r\nモデルの形とデータセットをクラウドに投げて、学習結果のパラメータを受け取る場合を考える。\r\n\r\n#### BadNetsモデルの条件:\r\n- val accを低下させてはいけない(val dataは未知)\r\n- トリガーを入力したとき、正常に訓練したモデルとは異なる予測を出力する（標的型・非標的型の２パターンある）\r\n\r\n### transfer learning attack\r\nユーザが悪意を持って学習されたモデルをダウンロードして、転移学習する場合を考える。\r\n\r\n#### BadNetsモデルの条件:\r\n- 新しいアプリケーションに対して設定されたユーザのval accが高くなければならない\r\n- トリガーを入力したとき、正常に訓練したモデルとは異なる予測を出力する\r\n\r\nどちらにせよ、学習データにトリガーとなるデータを仕込むことによってバックドアを作成する。\r\n\r\n## 4. 結果\r\n### MNIST\r\n以下のようなデータを混ぜた\r\n\r\n![x2](https://user-images.githubusercontent.com/10243885/41815533-1bf8fa5e-77a9-11e8-92fe-88fdbd5c1009.png)\r\n\r\n結果、すごいいい感じに間違えていて、標的型のバックドアを仕込めていると言える。\r\n![x3](https://user-images.githubusercontent.com/10243885/41815544-42277ade-77a9-11e8-9d50-0b515b2e5b7b.png)\r\n\r\n悪意のあるデータは、全体の10%くらいでうまくいく。\r\n\r\n### Transfer learning\r\n転移学習の場合は以下のようになる。（道路標識の識別）\r\n![tlexp](https://user-images.githubusercontent.com/10243885/41815582-4d1629a8-77aa-11e8-9165-3c809e714c5a.png)\r\n\r\nいい感じに間違えさせられていて、以下のようにconv5のactivationを可視化させたら、backdoorの発火するポイントがわかる。\r\n\r\n![x8](https://user-images.githubusercontent.com/10243885/41815598-c733bc28-77aa-11e8-929a-cfc14db6fffb.png)\r\n\r\n（他にも結果はいっぱいあるので気になる方は論文見てください）\r\n\r\n## 5. 議論\r\nDNNのバックドアを検出する技術を研究する必要がある。\r\n\r\n## 6. コメント\r\n防御手法もちゃんと提案してくれ…\r\n\r\n## 論文情報・リンク\r\nhttps://arxiv.org/pdf/1708.06733v1.pdf","author":{"url":"https://github.com/palloc","@type":"Person","name":"palloc"},"datePublished":"2018-06-24T03:38:00.000Z","interactionStatistic":{"@type":"InteractionCounter","interactionType":"https://schema.org/CommentAction","userInteractionCount":0},"url":"https://github.com/3/PaperStack/issues/3"}