View profile

Weekly Machine Learning #147

Revue
 
News: GoogleがBERTを検索に応用しようとしているようです。キーワード検索でそれほど不便を感じてないのでどう便利になるのかイメージできないところがありますが、導入されたら「おっ、気が利いてい
 

piqcy

October 26 · Issue #148 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
GoogleがBERTを検索に応用しようとしているようです。キーワード検索でそれほど不便を感じてないのでどう便利になるのかイメージできないところがありますが、導入されたら「おっ、気が利いている」と思うのかもしれません(“in"とか"at"で検索対象を絞れたら便利かなとは思います)。OpenAIの発表は誤解を招く表現があり、批判が寄せられています(私自身誤読していたので・・・)。GPT-2の公開経緯などからOpenAIは発表に結構慎重と思っていたので、今回の件はちょっと意外です(強化学習系は盛ってたかなという気がしないでもないですが)。
Articles:
Exploring the Limits of ~は事前学習済みのTransformerを使った転移学習の詳細なレシピになっています。タスクの解き方を言語モデル形式に統一することで汎用性を上げ、精度も高いです。言語モデルは自然言語のタスクで最も基礎的なタスクでしたが、そこに回帰するのか・・・という感じです。Billion-scale semi-supervised~はWeaklyとSemiのSupervisedを掛け合わせた手法です。言語モデルもそうですが、雑多でもとにかく量を稼いだデータで学習してFine Tuningする、というのが最近の機械学習のスタンダードと感じます(2年前~くらいはモデルの工夫が主流でしたが)。ただ今のところの「事前学習済みモデル」は学習結果の副産物的なので、事前学習に特化したモデル(転移前提のモデル)の工夫はまだ発展の余地があるかもしれません。
Resources:
GPT2の解説、また分子生成の資料はとても分かりやすいです。NeurIPSではGraphによる表現学習のワークショップが開催されますが、ここでも転移学習を扱ったものがちらちらとあります。Graph NNの世界でも、事前学習からの転移という流れが来るかもしれません。Evaluation Metrics~は、言語モデル全盛時代にタイムリーな記事です。Articlesで転移前提のモデルの工夫について触れましたが、モデルと同様目的関数についても工夫の余地があるなと感じています(もちろん、最終的にシンプルイズベストになる可能性はありますが)。
Series:
金融系文書のフォーマットであるXBRLについて最近調査しているので、その調査結果をまとめています。来月くらいにはデータセットのプレスリリースが出ると思うので(社内の手続きがあれこれあってちょっと遅れた)、予行演習しておいていただくといいことがあるかもしれません!

News
Microsoft open sources SandDance, a visual data exploration tool - Open Source Blog
Understanding searches better than ever before
REPLAB: A Reproducible Low-Cost Arm Benchmark for Robotic Learning
Solving Rubik’s Cube with a Robot Hand
Build and deploy TensorFlow.js models with the power of AutoML
Articles
[1910.10683] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Billion-scale semi-supervised learning for state-of-the-art image and video classification
Results of the WMT19 Metrics Shared Task: Segment-Level and Strong MT Systems Pose Big Challenges - ACL Anthology
[1909.04761] MultiFiT: Efficient Multi-lingual Language Model Fine-tuning
[1909.02857] A systematic comparison of methods for low-resource dependency parsing on genuinely low-resource languages
Promoting the Knowledge of Source Syntax in Transformer NMT Is Not Needed | Pham | Computación y Sistemas
[1909.11272] TalkDown: A Corpus for Condescension Detection in Context
Collaborating with Humans Requires Understanding Them – The Berkeley Artificial Intelligence Research Blog
[1910.11215] RoboNet: Large-Scale Multi-Robot Learning
Google AI Blog: Learning to Smell: Using Deep Learning to Predict the Olfactory Properties of Molecules
Rethinking statistical learning theory: learning using statistical invariants | SpringerLink
Resources
The Illustrated GPT-2 (Visualizing Transformer Language Models) – Jay Alammar – Visualizing machine learning one concept at a time
生成モデルを中心としたAI創薬最前線 / Elix CBI 2019 - Speaker Deck
Graph Representation Learning
Evaluation Metrics for Language Modeling
GitHub - araffin/rl-tutorial-jnrr19: Stable-Baselines tutorial for Journées Nationales de la Recherche en Robotique 2019
Causal Inference Book | Miguel Hernan | Harvard T.H. Chan School of Public Health
Series
財務分析に欠かせない、XBRLを理解する Part1 - programming-soda - Medium
財務分析に欠かせない、XBRLを理解する Part2 - programming-soda - Medium
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue