View profile

Weekly Machine Learning #129

Revue
 
News: 機械学習モデルを作成する際の環境負荷とは、という記事は考えさせられます(元はEnergy and Policy Considerations for Deep Learning in NLP
 

piqcy

June 21 · Issue #130 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: 機械学習モデルを作成する際の環境負荷とは、という記事は考えさせられます(元はEnergy and Policy Considerations for Deep Learning in NLPという論文で、ACL2019で発表予定)。ただ、Architecture Searchの時間を積んでいるので内容自体は結構盛っているかなという印象です。最終的にモデルができてしまえば・・・というところもあるので、ランニングコストも含めた調査が必要と思います。その結果人間が作業するよりエコとなればいよいよ立つ瀬がないところもありますが。
Articles: Stacked Capsule~はHinton先生グループから発表された研究ですが、内容と効果がまだあまりつかめていません。個人的には微妙な印象なのですが、他の方の解説&意見を待ちたいところです。XLNetはBERTの弱点を克服したモデルで、単に新しいアーキテクチャ、というのでなくきちんとBERTの問題点に着目した点が良いなと感じます。ただ、原因としているMASKの影響についてあまり分析がないのはちょっと難点かなと思いました。When to Trust Your Model~は、最近注目されているモデルベースの扱い方について示唆を与える面白い研究です。
Resources: MediaPipeは、モバイルへ機械学習モデルを組み込む際にとても役立ちそうなライブラリです。因果推論による検索の評価は要チェックです。因果推論は、そろそろDNNの判断根拠解析(今だとgradientやactivation、attentionで見られているところ)に来るんじゃないかという気がします。12の機械学習スタートアップで~の記事は、すでによく言われていることもありますが、実体験からの生々しい知見もあり面白いです。他記事へのリンクも豊富なのでおすすめです。
ちなみに、Seriesは更新が滞っていますが着々と進めています。本日開催されるResearch Manager Meetupの開催報告もお楽しみにです。

News
Artificial Intelligence Computing Leadership from NVIDIA
GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT
AI開発、二酸化炭素排出量は車の5倍 | ワールド | 最新記事 | ニューズウィーク日本版 オフィシャルサイト
GitHub - visipedia/imat_fashion_comp: iMaterialist Challenge (Fashion) - FGVC5
Articles
[1903.08297] Deep Neural Networks Improve Radiologists' Performance in Breast Cancer Screening
[1906.06818] Stacked Capsule Autoencoders
[1812.06164] Inverse Cooking: Recipe Generation from Food Images
[1906.08237] XLNet: Generalized Autoregressive Pretraining for Language Understanding
[1906.05407] Analyzing the Limitations of Cross-lingual Word Embedding Mappings
[1708.00247] Query expansion techniques for information retrieval: A survey
[1906.01617] Self-Attentional Models for Lattice Inputs
When to Trust Your Model: Model-Based Policy Optimization
Mid-Level Visual Features Improve Generalization and Sample Efficiency for Learning Visuomotor Policies
Towards Compositionality in Deep Reinforcement Learning | InstaDeep
[1903.04388] Deep learning for molecular design - a review of the state of the art
[1906.03842] Analyzing the Role of Model Uncertainty for Electronic Health Records
Resources
GoogleのMediaPipeでMLアプリ開発が楽になる · tkat0.github.io
因果推論で検索システムを問い直す(2) - Counterfactualを知りたい
Some Explorations of Exploration in Reinforcement Learning
12の機械学習スタートアップと働いてわたしが学んだこと | 人工知能ニュースメディア AINOW
GitHub - ericjang/nf-jax: Normalizing Flows in Jax
GitHub - facebookresearch/pyrobot: PyRobot: An Open Source Robotics Research Platform
GitHub - OanaMariaCamburu/e-SNLI
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue