View profile

Weekly Machine Learning #154

Revue
 
News: Facebookが、不完全かつ協調という難しいタスクで強化学習の適用に成功しました。DeepMindは例外としても、大手がビジネス化困難な強化学習にこれだけ投資するのはちょっと背景が読めない
 

piqcy

December 14 · Issue #155 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
Facebookが、不完全かつ協調という難しいタスクで強化学習の適用に成功しました。DeepMindは例外としても、大手がビジネス化困難な強化学習にこれだけ投資するのはちょっと背景が読めないところがあったのですが、この段階にくるとボットにつなげようとしているのかなと感じます。Hagging Faceで、日本語BERTが使えるようになりました!いままでは公開されているものの単語かWordpieceかなど細かい考慮点が多かったですが、これで一挙に解決されました。年の瀬ということもあり、総括レポートが発行されています。動向を振り返るにはいいかもしれません。
Articles:
Dynamic Convolutionは、今後主流になりそうな気配を感じます(手法がシンプルでなんで今までなかったのかという気もしますが)。今後Transformerにも入ってくるかなと思います。SMARTは基本に忠実な転移学習でちゃんと効果が出ることを実証したという印象です。基本のモデル/転移学習ともどもかなり成熟しつつあるので、自然言語関連のソリューション/サービスでビジネス的にインパクトのある応用例が出てくるかもしれません。解釈性に関する疑義については、なかなか考えさせられるものがあります。ただ説明可能性、と声高に叫ばれる中でこうしたカウンターになる意見が出てくるのはとても健全だと感じます。
Resources:
MicrosoftがNLPのベストプラクティス集を公開しました。多くのタスクで、まずはここで紹介されている通りにやってみるのが吉かなと思います。ちなみに弊社の開発したdoccanoもアノテーションのベストプラクティスとして紹介されています!Simple Transformersは、Transformerから転移して学習する場合の実装を行いやすくするツールです。自然言語処理は研究面だけでなくツール面もかなり充実してきていますね。低リソースの言語対応がトピックになる中で、表意文字に端を発する言語をどう扱うかは大きなテーマだと思います。ここでこそ画像/自然言語のマルチモーダルが力を発揮するかもしれません。

News
Building AI that can master complex cooperative games with hidden information
Add support for Japanese BERT models by cl-tohoku by singletongue · Pull Request #1839 · huggingface/transformers · GitHub
Finland seeks to teach 50 million Europeans basics on AI - Reuters
[1912.01703] PyTorch: An Imperative Style, High-Performance Deep Learning Library
Executive summary: the 2020 state of enterprise machine learning report | Algorithmia Blog
Introducing the AI Index 2019 Report | Stanford Institute for Human-Centered Artificial Intelligence
Articles
[1912.03458] Dynamic Convolution: Attention over Convolution Kernels
[1912.02781] AugMix: A Simple Data Processing Method to Improve Robustness and Uncertainty
[1912.01991] Self-Supervised Learning of Pretext-Invariant Representations
[1911.03437] SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization
GitHub - PaddlePaddle/ERNIE: An Implementation of ERNIE For Language Understanding (including Pre-training models and Fine-tuning tools)
[1912.03184] GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception
[1911.05892] Reinforcement Learning for Market Making in a Multi-agent Dealer Market
[1912.02877] Training Agents using Upside-Down Reinforcement Learning
[1912.03820] Meta-Learning without Memorization
[1912.02762] Normalizing Flows for Probabilistic Modeling and Inference
[1912.02803] Neural Tangents: Fast and Easy Infinite Neural Networks in Python
[1911.02508v1] How can we fool LIME and SHAP? Adversarial Attacks on Post hoc Explanation Methods
[1811.10154] Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead
Resources
GitHub - microsoft/nlp-recipes: Natural Language Processing Best Practices & Examples
Simple Transformers — Named Entity Recognition with Transformer Models
Introducing ReviewNB: Visual Diff for Jupyter Notebooks
MNT Reorder parameters in plot_confusion_matrix by qinhanmin2014 · Pull Request #15645 · scikit-learn/scikit-learn · GitHub
An Introduction to Confident Learning: Finding and Learning with Label Errors in Datasets
Write With Transformer
Reciprocal Recommender Systems(相互推薦システム)の紹介 - yuya4's note
Deep Learning において,漢字はどの単位で分割・エンコードされるべきなのだろう? - Qiita
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue