View profile

Weekly Machine Learning #163

Revue
 
News: 世間をにぎわせているコロナウィルスですが、機械学習界でも対策の試みがあります。この動きも論文公開の仕組みがあってこそなので、情報共有の重要性を感じます。Colabが課金プランを発表しました。
 

piqcy

February 14 · Issue #164 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
世間をにぎわせているコロナウィルスですが、機械学習界でも対策の試みがあります。この動きも論文公開の仕組みがあってこそなので、情報共有の重要性を感じます。Colabが課金プランを発表しました。GPUが手元になくても実験できる環境が整ってきていると思います。Google/Facebook共に多言語のデータセットを公開しました。自然言語はこれからマルチリンガルに向かうのかなと感じます。マルチリンガルの研究が行われる中で、様々な国の言語に潜む法則性などがわかってくれば面白いと思います。
Articles:
今週は言語モデル関連が多かったです。次ステップではなくnステップ(n-gram)、知識グラフや検索と組み合わせるなどなど。個人的には「言語モデルというタスクでなぜ様々なタスクに転移可能な知識が獲得されるのか」という点に興味があります。実のところすべての自然言語処理タスクは穴埋め問題に過ぎないのでは?という見方もあるかもしれません。画像だとタスク間の関連度合いを調べた研究がありましたが、自然言語のタスクでも同様のマップを作ってみると面白いと思います。強化学習x因果推論の研究はちょくちょく出てくるなと感じます。今後因果推論の考えは機械学習にとっても重要な要素になる気がします(解釈性の問題もありますし)。
Resources:
Topic Modelの最終系、という記事は興味深いです。解釈性という観点でTopic Modelは見直されるのではと感じています。Bayesian DNNはなぜ普及しないのかという論文をArticlesで紹介しましたが、Bayesian系の普及が進んでくればまた日の目を見るのではと(今 日が当たっていないみたいな言い方ですが・・・)。機械学習の性能追試の重要性はなかなか考えさせられる記事です。機械学習モデルはアプリケーションに組み込まれて価値を出すので、単にモデル性能だけに着目しているとこうした事態を見逃してしまいそうだなと感じました(単体テストをしているけど結合テストをしていないみたいな)。

News
Two groups use artificial intelligence to find compounds that could fight the novel coronavirus
Colab Pro
Tensor Processing Units (TPUs) Documentation | Kaggle
Google AI Blog: TyDi QA: A Multilingual Question Answering Benchmark
CCMatrix: A billion-scale bitext data set for training translation models
ZeRO & DeepSpeed: New system optimizations enable training models with over 100 billion parameters - Microsoft Research
JSAI SIG-FIN
SciPy 1.0: fundamental algorithms for scientific computing in Python | Nature Methods
fastai—A Layered API for Deep Learning · fast.ai
Articles
[2001.04063] ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training
[1907.10641] WinoGrande: An Adversarial Winograd Schema Challenge at Scale
[1905.12790] A Generalized Framework of Sequence Generation with Application to Undirected Sequence Models
[1908.07690] Latent Relation Language Models
[1911.10768] Unsupervised Domain Adaptation of Language Models for Reading Comprehension
REALM: Retrieval-Augmented Language Model Pre-Training
[2002.02836] Causally Correct Partial Models for Reinforcement Learning
[2002.02405] How Good is the Bayes Posterior in Deep Neural Networks Really?
Resources
ML and NLP Publications in 2019 - Marek Rei
TopicModelの最終形態? Structured Topic Modelのご紹介 - Retrieva TECH BLOG
Accelerating k-nearest neighbors 600x using RAPIDS cuML
本番環境で動く機械学習モデルの性能を追試することの重要性 | CyberAgent Developers Blog
深層生成モデルによるメディア生成 - Speaker Deck
SGD Momentum の気持ちを理解する - Speaker Deck
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue