View profile

Weekly Machine Learning #152

Revue
 
News: Googleが説明可能AIのサービスを行っていくことをアナウンスしました。研究も盛んですが、プロダクト/サービスにとっても重要なトピックになってきていることを感じます。単に予測結果だけでな
 

piqcy

November 29 · Issue #153 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
Googleが説明可能AIのサービスを行っていくことをアナウンスしました。研究も盛んですが、プロダクト/サービスにとっても重要なトピックになってきていることを感じます。単に予測結果だけでなく、機械学習なりの「解釈」も結構使いでがあるのではと思います(検討のパートナー的な・・・)。spaCyの形態素解析モデルの切替りは要チェックです。今後脱MeCabが進んでいくのではと思います。
Articles:
MUSEは、Self-Attentionの弱点(トークン重視、コンテキスト軽視)をConvolution(局所コンテキスト考慮)で補完する研究です。とても筋がいいように感じます(理屈がよく通っているという面で)。翻訳以外のタスクでどれくらい効果があるのか気になるところです。Contrastive Learningは、強化学習とTransEを組み合わせた面白研究です(A+B=Cが成立するようにする。強化学習の場合は状態+行動=次状態、TransEは要素+関係=リンク先要素)。この研究の学習フレームワークは他でも使い出がある気がします。
Resources:
図で理解するBERTは相変わらずのクオリティです。TFXのチュートリアルはとてもよくできています。最近PyTorchでTFはご無沙汰なんだ、という方も多いと思いますが、機械学習パイプラインを支えるTFXはTFに戻るきっかけになるかも?しれません(実際触ってみるとバグってる、というパターンが多いので油断は禁物ですが)。Instagramの推薦を支える仕組みは、Facebookの技術力を感じる記事です(最初にメタ言語をつくるとは・・・という)。機械学習におけるDevOpsの一つの極致といえるかもしれません。
Series:
弊社で開発しているdoccanoが1.0.0を公開しました!かなりきれいになったのでアノテーションにお困りのかたはぜひ使ってみてください。

News
Google Cloud AI Explanations to increase fairness, responsibility, and trust | Google Cloud Blog
sense2vec: Semantic Analysis of the Reddit Hivemind · Demos · Explosion
Release ALBERT, CamemBERT, DistilRoberta, GPT-2 XL, and Encoder-Decoder architectures · huggingface/transformers · GitHub
Replace python-mecab3 with fugashi for Japanese by polm · Pull Request #4621 · explosion/spaCy · GitHub
Articles
[1911.09299] Furnishing Your Room by What You See: An End-to-End Furniture Set Retrieval Framework with Rich Annotated Benchmark Dataset
[1911.09483] MUSE: Parallel Multi-Scale Attention for Sequence to Sequence Learning
[1911.09709] Automatically Neutralizing Subjective Bias in Text
Do Attention Heads in BERT/RoBERTa Track Syntactic Dependencies?
[1911.10470] Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering
Planning with Goal-Conditioned Policies
[1911.12247] Contrastive Learning of Structured World Models
[1910.14481] Continual Unsupervised Representation Learning
Resources
A Visual Guide to Using BERT for the First Time – Jay Alammar – Visualizing machine learning one concept at a time
The TensorFlow Blog: Introducing the TFX interactive notebook
コンピュータビジョンの最新論文調査 2D Human Pose Estimation 編 - Technology of DeNA
Climate Change AI - Resources | Climate Change AI
Powered by AI: Instagram’s Explore recommender system
[R][P] Talking Head Anime from a Single Image : MachineLearning
A Visual Introduction to Hierarchical Models
Series
GitHub - chakki-works/doccano: Open source text annotation tool for machine learning practitioner.
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue