CNNを初歩から応用まで学ぶ講習会

【CNNを初歩から応用まで学ぶ講習会】

【概要】
ベストセラーである技術書「ゼロから作るDeep Learning」を読み終えて、次に何をやろうか迷っている人向けのイベントです。「ゼロから作るDeep Learning」は謝辞にも書いて通り、この著書のNeural Networkに関する内容は、Stanford大学のFei Fei Li教授らの授業、cs231nを元に作られています。cs231nの講義動画もスライドもネット上に公開されています(http://cs231n.stanford.edu/syllabus.html )。cs231nは、どちらかというと中級者向けですが、内容はかなり濃く最新の知見も多く、DeepLearningを実務に生かすには欠かせない知識が数多く含まれています。中級者向けとはいえ、要点を絞って教えれば、初心者にも教えることができるので、cs231nを二回(予定)にわけて一般の人向けにレクチャーする会を開催することにしました。今回は、Lecture2～7を講義します。cs231nの補足説明スライドとcs231nにはない実装に関しても別途作成し、理論だけでなく実装もバランスよく学べるようにしました。実装では、Tensorflowをbackendとして、kerasによる、Neural Network、Convolutional Neural Network(CNN)、転移学習を扱います。

【講義編】
Lecture2:The data-driven approach, K-nearest neighbor, Linear classification I
Lecture3:Linear classification II, Higher-level representations, image features,
Optimization, SGD
Lecture4:Backpropagation,Multi-layer Perceptrons,The neural viewpoint
Lecture5:Convolution and pooling,ConvNets outside vision
Lecture6:Activation functions, initialization, dropout, batch normalization
Lecture7:Update rules, ensembles, data augmentation, transfer learning

【実装編】
・Neural Networkでの回帰
・Neural Networkでの分類
・Convolutional Neural Networkでの分類
・学習済VGG19を用いた転移学習

【対象者】
・「ゼロから作るDeep Learning」を一通り読んだことがある人
・知識はないけどやる気はある人。
・学習済モデルを使いたい人。
・AlexNetを構築する以上のレベルに達していない人。

【参加するための最低限の知識】
・偏微分がわかる
・NumpyとPandasはだいたい使える
・高校2年生までの数学(一次式方程式、二次式方程式、ベクトル、内積)がわかる
・行列同士の積の取り方がわかる
・英語(大学1年生程度、英検2級程度)

【日時】
2017年11月27日12時半～16時半

【場所】
LabCafe
東京都文京区本郷4-1-3 明和本郷ビル7F
http://lab-cafe.net/page/access

【タイムライン】
12:15　　　開場
12:30-12:40 企画紹介、参加者自己紹介
12:40-13:00 Lecture2: Image Classification
13:00-13:20 Lecture3: Loss Functions and Optimization
13:20-13:30 休憩
13:30-14:00 Lecture4: Introduction to Neural Networks
14:00-14:30 Lecture5: Convolutional Neural Networks
14:30-14:40 休憩
14:40-15:00 Lecture6: Training Neural Networks, part I
15:00-15:20 Lecture7: Training Neural Networks, part II
15:20-15:30 休憩
15:30-16:00 keras入門とNeural Networkによる回帰・分類
16:00-16:10 CNNによる画像分類
16:10-16:20 学習済VGG19の重みを用いた転移学習
16:20-16:30 質疑応答
16:30 解散

【参加費】
3000円(学生:無料(受付にて学生証をお見せください)、ポスドク:無料(受付にて身分証をお見せください))

【当日の持ち物】
ご自身のノートPCを(必ず)お持ちください。

【必要なPCのスペック・必要なソフトウェア】

【Windowsの方】
Windows10を推奨
1, Anaconda をダウンロード・インストールお願いします。(Python 3.6 version 64bit)
https://www.continuum.io/downloads
2, Anaconda Promptを開き、
pip install tensorflow と入力してEnterを押してください。終わったら、
pip install keras と入力してEnterを押してください。終わったら、
pythonと入力し、
import tensorflow as tf と入力して下さい。終わったら、
import keras と入力してください。
以上エラーなくできれば、環境設定の第一段階は完了です。
本講習会へのお申し込みが済んでいて、かつ環境設定に失敗した場合は、
machine.learning.r@gmail.com にメールでご連絡ください。
講習会当日だけ使えるGoogleCloudPlatformComputeEngineの環境を用意しておきます。
ただこの環境では、CNNの一部と転移学習を行うための十分なスペックがありません。その点ご了承いただける方のみご参加ください。

【Macの方】
Mac OSX(10.6以上推奨)
1,Anacondaをダウンロード・インストールお願いします。 (Python 3.6 version 64bit(CommandLineがわからなければGraphical Installerで))
https://www.continuum.io/downloads
Anacondaが好きではない方は入れなくても結構です。その代わり、必要なライブラリは適宜ご自分で判断して入れていただくことがあるかと思います。
2,Terminalを開き、
pip install tensorflow と入力してEnterを押してください。終わったら、
pip install keras と入力してEnterを押してください。終わったら、
pythonと入力し、
import tensorflow as tf と入力して下さい。終わったら、
import keras と入力してください。
以上エラーなくできれば、環境設定の第一段階は完了です。
本講習会へのお申し込みが済んでいて、かつ環境設定に失敗した場合は、
machine.learning.r@gmail.com にメールでご連絡ください。
講習会当日だけ使えるGoogleCloudPlatformComputeEngineの環境を用意しておきます。
ただこの環境では、CNNの一部と転移学習を行うための十分なスペックがありません。その点ご了承いただける方のみご参加ください。

【Linuxの方】
Anacondaをダウンロード・インストールお願いします。 (Python 3.6 version 64bit)
https://www.continuum.io/downloads
2,コマンドラインで、
pip install tensorflow と入力してEnterを押してください。終わったら、
pip install keras と入力してEnterを押してください。終わったら、
pythonと入力し、
import tensorflow as tf と入力して下さい。終わったら、
import keras と入力してください。
以上エラーなくできれば、環境設定の第一段階は完了です。
本講習会へのお申し込みが済んでいて、かつ環境設定に失敗した場合は、
machine.learning.r@gmail.com にメールでご連絡ください。
講習会当日だけ使えるGoogleCloudPlatformComputeEngineの環境を用意しておきます。
ただこの環境では、CNNの一部と転移学習を行うための十分なスペックがありません。その点ご了承いただける方のみご参加ください。

【すべてのOSに共通した追加の準備】
以下二つのコマンドも実行しておいてください
(Windows:AnacondaPrompt, Mac:AnacondaPromptまたはTerminal, Linux:通常コマンドとして )
pip install tqdm
pip install opencv-python

以下のリンク先から、以下の4つのファイルをダウンロード・解凍して、同じフォルダ(英語名にする)にいれておき、その場所を覚えておいてください(DesktopかDocumentsあたりが望ましいです)。転移学習の例として使用します(メモリは16GB以上必要)。
リンク：
Dog Breed Identification
https://www.kaggle.com/c/dog-breed-identification/data
ファイル名：
train.zip
test.zip
sample_submission.csv.zip
labels.csv.zip

【注意点】
サーバ環境やDocker環境では、転移学習のところでエラーが出る可能性が高いです。ご了承ください。

【ハードウェア環境の推奨】
・無線LAN搭載
・HDD空き容量10GB以上
・メモリ8GB以上

【開発環境設定】
当日の運営を円滑に行うため、環境設定はできるだけご自身で事前に行ってください。

【前回の参加者の満足度】
満足度100%, やや満足0%, 普通0%,やや不満0%,不満0%

【講義の難易度について】
難0%,やや難50%, 普通50%,やや易0%,易0%

【ハンズオンの難易度】
難0%,やや難75%,普通25%,やや易0%,易0%

【講義に対するご感想】
・大変有用な講義でした。ありがとうございました。
・実習時間が足りなかった。
・ディープラーニングに関する初学者用のイベントは多いのですが、もう一歩だけ進んだイベントがないのないので、今回の難易度のまま続けてほしいです。
・短時間での盛りだくさんの内容のご講義と、持ち帰り用の資料や詳細なコメントのついたソースコードの展開、いずれも非常に助かりました。
・Data augmentationというものを初めて知り、驚きました。フィーチャーエンジニアリングやデータの前処理がどういうふうに機能するかについてもっと知りたいと思っています。
・本を読むだけでは、分からない箇所が補足説明されていてとても良かったと思います。
・噛み砕いたご説明で(昨年度2016のcs231のビデオ視聴含む)これまでの自己学習では表面的だった理解が深まりました。
・助っ人の方の補足が役立ちました。
・頭の中が整理されて非常に助かりました。

【講師】
鈴木瑞人
2014年3月東京大学理学部生物学科卒業
2016年3月東京大学大学院新領域創成科学研究科　メディカル情報生命専攻　修士課程卒業
2016年4月東京大学大学院新領域創成科学研究科　メディカル情報生命専攻　博士課程入学

【助っ人】
某IT企業エンジニア

【お問合せ】
実戦的機械学習勉強会
machine.learning.r@gmail.com

【主催】
実戦的機械学習勉強会