Subscribe to our newsletter By subscribing, you agree with Revue’s Terms and Privacy Policy. Jan 19, 2018 Weekly Machine Learning #55 Revue News: Googleが、機械学習モデルを自動作成するAutoMLのリリースをアナウンス。画像系は、機械学習エンジニアがいなくてもそこそこのモデルが作れるようになってくるかもしれません。Stanfor piqcy January 19 · Issue #55 · View online All change is not growth, as all movement is not forward. Ellen Glasgow News: Googleが、機械学習モデルを自動作成するAutoMLのリリースをアナウンス。画像系は、機械学習エンジニアがいなくてもそこそこのモデルが作れるようになってくるかもしれません。Stanford/MITでそれぞれ要チェックな講座が開講されます。 Articles: DropoutとBN混ぜるな危険の根拠が明らかにされました。Mean teachers~は感心させられた論文で、公式ブログも非常にわかりやすく丁寧な解説がされているのでお勧めです。Can Computers Create Art?は論文ではなく読み物ですが、非常に示唆に富んでおり面白いです。 Resources: 機械学習をアートに適用するためのツールキットWekinatorを紹介しています。RISEはJupyterのインタラクティブ性そのままにスライドにしてくれる便利なツールです。リブセンスさんは、機械学習環境のインフラについての記事を挙げています。最近、こうした運用周りの記事も出てきているなという印象です。 News Cloud AutoML: Making AI accessible to every business www.blog.google – Share Googleがカスタムの機械学習モデルをクラウド上でつくれるCloud AutoMLのリリースをアナウンス。最初は画像のモデルからで、ディズニーでキャラクターごとに分類、ロンドン動物学会で野生動物の分類等に使用されている事例を紹介している。 Stanford University: Tensorflow for Deep Learning Research web.stanford.edu – Share Stanfordで研究のためのTensorFlow講座が開講。CNN/RNN、また対話や強化学習などをあつかっていて、KerasについてはKeras作者が講義するという豪華講座。1/12から開講で、資料は随事公開されるよう。 MIT 6.S099: Artificial General Intelligence agi.mit.edu – Share MITで1/22から開講される、様々な人工知能関連の話題について幅広くカバーしている講座。各分野のスペシャリストが講演をしていくスタイル。 PRESS RELEASE | 産業向けエッジコンピューティングシステムの取組みを強化 | 株式会社PFU www.pfu.fujitsu.com – Share PFUが、エッジコンピューティングを加速させるカードをリリース。省電力かつ高速に推論を行わせることができる。もちろん、Chainerに対応。 ONNX support by Chainer chainer.org – Share Chainerが、機械学習ライブラリ間でモデルをやり取りするためのフォーマットであるONNXを公式サポート開始。 Articles [1801.05134] Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift arxiv.org – Share 正則化の手法としてよく使われるDropoutとBatch Normalizationは、併用するとパフォーマンスの悪化が起こることがあるが、その原因について検証した研究。悪化の理由として、Dropoutを行うことで学習時と評価時で分散が変わってしまう一方、Batch Normalizationは学習で得られた分散を評価時もキープしてしまうため齟齬が生じることが原因と指摘された。 [1703.01780] Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results arxiv.org – Share 生徒と教師の2つのモデルを利用した、半教師あり学習の研究。生徒、教師はたがいに別々のノイズが付与されたデータをもとに予測を行い、生徒はラベルと教師の予測との一致を元に学習を行う。教師側は、エポック終了後に生徒の学習結果をマージする(exponential moving average)。 Semi-supervised image classification explained | Curious AI thecuriousaicompany.com – Share 上記論文、また半教師あり学習の手法の進化についてもまとめられた公式ブログ。 [1801.05453] Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs arxiv.org – Share LSTM内部の計算を、その単語自身の貢献とコンテキストの貢献に分割して、出力に対する各単語の貢献をわかるようにするという研究。ゲートの処理については、各セルの更新式を線形和にすることで貢献の分離が維持されるようにしている。 [1704.03296] Interpretable Explanations of Black Boxes by Meaningful Perturbation arxiv.org – Share DNNの画像認識モデルがどこを重要としているのかを可視化する研究。仕組み的には、重要と判断されるところを隠す(マスクする)ように学習を行う。これにより、モデル内部のアーキテクチャいかんにかかわらず利用することができる。 [1801.03583] Graphical Models for Processing Missing Data arxiv.org – Share 既存の欠損値を埋める手法は欠損がランダムに起きることを前提としているが、実際にはそうではなかったりする(例えば十代の子は恥ずかしがって肥満度を報告しないなど(下図c))。このような欠損の因果関係をグラフカルモデルを使用しモデル化する(m-graph)という研究 [1710.06280] Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions arxiv.org – Share ロボットに自然言語で指示を出して行動させるという研究。箱の中のオブジェクトを別の箱に移動させるというタスクで、最初の指示で対象を特定できなかった場合、追加で指示を受ける。この指示と各オブジェクトでスコアを算出し、一定閾値より大きい場合に候補としている。 [1801.04486] Can Computers Create Art? arxiv.org – Share Adobe Researchが論じる、機械学習にアートは作れるか?を考察した話。過去、写真が出てきたとき画家を廃業においこんでもおかしくなかったが、今は写真自体がアートになっている。また、新しいアルゴリズムは電子音楽を生み出した。過去の技術と芸術の関わりから、未来を考察する素晴らしい記事。 Resources Wekinator | Software for real-time, interactive machine learning www.wekinator.org – Share 機械学習をアートに適用するためのツールキット。ジェスチャー認識や楽器の作成といったことが簡単に開発できるとのこと。 RISE — RISE 5.1.0 documentation damianavila.github.io – Share Jupyter Notebookをスライドにしてくれるだけでなく、スライド中でコードを実行できる=発表中に実行して結果を示せるという素晴らしいツール。 サブカルのためのword2vec - Technology of DeNA engineer.dena.jp – Share 記事の分類を行う際に、続々と登場する新しいアニメ、その略語に対してどう対応していったのかをまとめた記事。効果が出なかった手法も含めて書いてあり、参考になる。 Deep Learningにおける知識の蒸留 | Code Craft House codecrafthouse.jp – Share 学習済みのモデルをベースにして新しいモデルを作る蒸留について、様々研究をまとめた記事。 様々な音響特徴量 Q. それぞれの使い方や意味を教えて下さい abcpedia.acoustics.jp – Share 今ではDNN全盛となってしまったが、基本的な音響特徴量とその算出方法を丁寧に解説した記事 ふわふわ系列ラベリング // Speaker Deck speakerdeck.com – Share 固有表現認識などで使われる系列ラベリングについて、その基礎的な仕組みと最近の研究についてのまとめ。 Kubernetes を利用したコンテナベース機械学習基盤の構築 - LIVESENSE Data Analytics Blog analytics.livesense.co.jp – Share リブセンスで運営されている、コンテナを中心とした機械学習開発環境についての記事。 GitHub - RaRe-Technologies/gensim-data: Data repository for pretrained NLP models and NLP corpora. github.com – Share 研究用のデータセットは唐突になくなったりするので、恒常的に扱えるようにするためgensimではgensim独自にデータ、および学習済みモデルをホスティングしている。英語Wikipedia(2017/10時点)や米国特許などのデータが提供されている。 Fitting larger networks into memory. – Yaroslav Bulatov – Medium medium.com – Share OpenAIが、計算速度が20%ほど遅くなる代わりに10倍大きなモデルが乗せられる手法を開発。通常の学習では、当然伝搬時の計算結果を逆伝搬の計算が終わるまでキープしておく必要があるが、この「伝搬の計算結果」を再計算することにして、計算結果をメモリに置いておかなくてもよくするという戦法。 TensorFlow活用ガイド www.amazon.co.jp – Share 本書の音楽生成の章を執筆させて頂きました。MIDI音源を利用した音符ベースの生成だけでなく、WaveNet登場以後の生の音声ベースの生成についても解説を加えています。他も多様な応用例を集めているので、MNISTに飽きた、という方はぜひ。 Did you enjoy this issue? Become a member for $5 per month Don’t miss out on the other issues by piqcy Become a member You can manage your subscription here If you were forwarded this newsletter and you like it, you can subscribe here. Powered by Revue Share Share to Twitter Share to Facebook Subscribe to our newsletter By subscribing, you agree with Revue’s Terms and Privacy Policy.