View profile

Weekly Machine Learning #122

Revue
 
News: PyTorchの1.1がリリースされました。TensorBoardのオフィシャルサポート開始、TorchScriptによるパフォーマンスを落とさないカスタム実装など、開発がよりやりやすくなっ
 

piqcy

May 4 · Issue #123 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: PyTorchの1.1がリリースされました。TensorBoardのオフィシャルサポート開始、TorchScriptによるパフォーマンスを落とさないカスタム実装など、開発がよりやりやすくなっている印象です。BERT Meets GPUsはBERTの学習を高速化したという話ですが、BERTもImageNetのようにあと数カ月もしたら「数時間で~」みたいな話が出てくるのかなと感じます。
Articles: Local Relation Networksは、結果はそこそこという感じですがCapsuleNetとCNNの違いを学ぶにはかなり良い論文だと思います。Understanding Dataset Design~はQAデータセットの問題点を挙げた論文です。このタイプの論文は最近結構出ていますが、その先(ではどうするか?)に踏み込んだ研究がまだあまりなく今後はそこが論点となる気がします。個人的には、おそらくどんな作り方をしてもハックされる可能性があり、何らかのボトルネック(電車の経路探索で必ずxx駅を使うと指定するような)となるデータ/タスクを入れないといけないんじゃないかという気がします。Using Embeddings~は導入が丁寧で、これを機に因果推論じっくりやるぜというスタートにはよい論文と思います。Low-Memory Neural Network~は、実践的でお勧めです。
Resources: 強化学習の良い資料が多かった週です。教師なし/表現学習/好奇心/学習効率など、今週だけで強化学習の課題と研究が結構カバーできます。長い休みにぜひ。


News
Release Official TensorBoard Support, Attributes, Dicts, Lists and User-defined types in JIT / TorchScript, Improved Distributed · pytorch/pytorch · GitHub
Optimizing CUDA Recurrent Neural Networks with TorchScript | PyTorch
Call for livetweeters - NAACL-HLT 2019
Better Language Models and Their Implications
BERT Meets GPUs – Future Vision – Medium
Articles
[1904.11491] Local Relation Networks for Image Recognition
[1903.02271] High-Fidelity Image Generation With Fewer Labels
[1904.11621] Meta-Sim: Learning to Generate Synthetic Datasets
Fast and robust animal pose estimation | bioRxiv
[1904.12106] Understanding Dataset Design Choices for Multi-hop Reasoning
[1902.04114] Using Embeddings to Correct for Unobserved Confounding
[1905.00078] Deep Learning for Audio Signal Processing
[1904.10631] Low-Memory Neural Network Training: A Technical Report
Resources
コンピュータビジョンの最新論文調査 Human Recognition編 - Technology of DeNA
Self-Supervision and Play - Pierre Sermanet @ OpenAI Robotics Symposium 2019
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベースRLへの応用
強化学習における好奇心 - Speaker Deck
Reinforcement Learning, Fast and Slow: Trends in Cognitive Sciences
MRQA: Machine Reading for Question Answering
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue