Googleがカスタムの機械学習モデルをクラウド上でつくれるCloud AutoMLのリリースをアナウンス。最初は画像のモデルからで、ディズニーでキャラクターごとに分類、ロンドン動物学会で野生動物の分類等に使用されている事例を紹介している。

Stanfordで研究のためのTensorFlow講座が開講。CNN/RNN、また対話や強化学習などをあつかっていて、KerasについてはKeras作者が講義するという豪華講座。1/12から開講で、資料は随事公開されるよう。

MITで1/22から開講される、様々な人工知能関連の話題について幅広くカバーしている講座。各分野のスペシャリストが講演をしていくスタイル。

PFUが、エッジコンピューティングを加速させるカードをリリース。省電力かつ高速に推論を行わせることができる。もちろん、Chainerに対応。

Chainerが、機械学習ライブラリ間でモデルをやり取りするためのフォーマットであるONNXを公式サポート開始。

正則化の手法としてよく使われるDropoutとBatch Normalizationは、併用するとパフォーマンスの悪化が起こることがあるが、その原因について検証した研究。悪化の理由として、Dropoutを行うことで学習時と評価時で分散が変わってしまう一方、Batch Normalizationは学習で得られた分散を評価時もキープしてしまうため齟齬が生じることが原因と指摘された。

生徒と教師の2つのモデルを利用した、半教師あり学習の研究。生徒、教師はたがいに別々のノイズが付与されたデータをもとに予測を行い、生徒はラベルと教師の予測との一致を元に学習を行う。教師側は、エポック終了後に生徒の学習結果をマージする(exponential moving average)。

上記論文、また半教師あり学習の手法の進化についてもまとめられた公式ブログ。

LSTM内部の計算を、その単語自身の貢献とコンテキストの貢献に分割して、出力に対する各単語の貢献をわかるようにするという研究。ゲートの処理については、各セルの更新式を線形和にすることで貢献の分離が維持されるようにしている。

DNNの画像認識モデルがどこを重要としているのかを可視化する研究。仕組み的には、重要と判断されるところを隠す(マスクする)ように学習を行う。これにより、モデル内部のアーキテクチャいかんにかかわらず利用することができる。

既存の欠損値を埋める手法は欠損がランダムに起きることを前提としているが、実際にはそうではなかったりする(例えば十代の子は恥ずかしがって肥満度を報告しないなど(下図c))。このような欠損の因果関係をグラフカルモデルを使用しモデル化する(m-graph)という研究

ロボットに自然言語で指示を出して行動させるという研究。箱の中のオブジェクトを別の箱に移動させるというタスクで、最初の指示で対象を特定できなかった場合、追加で指示を受ける。この指示と各オブジェクトでスコアを算出し、一定閾値より大きい場合に候補としている。

Adobe Researchが論じる、機械学習にアートは作れるか？を考察した話。過去、写真が出てきたとき画家を廃業においこんでもおかしくなかったが、今は写真自体がアートになっている。また、新しいアルゴリズムは電子音楽を生み出した。過去の技術と芸術の関わりから、未来を考察する素晴らしい記事。

機械学習をアートに適用するためのツールキット。ジェスチャー認識や楽器の作成といったことが簡単に開発できるとのこと。

Jupyter Notebookをスライドにしてくれるだけでなく、スライド中でコードを実行できる=発表中に実行して結果を示せるという素晴らしいツール。

記事の分類を行う際に、続々と登場する新しいアニメ、その略語に対してどう対応していったのかをまとめた記事。効果が出なかった手法も含めて書いてあり、参考になる。

学習済みのモデルをベースにして新しいモデルを作る蒸留について、様々研究をまとめた記事。

今ではDNN全盛となってしまったが、基本的な音響特徴量とその算出方法を丁寧に解説した記事

固有表現認識などで使われる系列ラベリングについて、その基礎的な仕組みと最近の研究についてのまとめ。

リブセンスで運営されている、コンテナを中心とした機械学習開発環境についての記事。

研究用のデータセットは唐突になくなったりするので、恒常的に扱えるようにするためgensimではgensim独自にデータ、および学習済みモデルをホスティングしている。英語Wikipedia(2017/10時点)や米国特許などのデータが提供されている。

OpenAIが、計算速度が20%ほど遅くなる代わりに10倍大きなモデルが乗せられる手法を開発。通常の学習では、当然伝搬時の計算結果を逆伝搬の計算が終わるまでキープしておく必要があるが、この「伝搬の計算結果」を再計算することにして、計算結果をメモリに置いておかなくてもよくするという戦法。

本書の音楽生成の章を執筆させて頂きました。MIDI音源を利用した音符ベースの生成だけでなく、WaveNet登場以後の生の音声ベースの生成についても解説を加えています。他も多様な応用例を集めているので、MNISTに飽きた、という方はぜひ。