View profile

Weekly Machine Learning #155

Revue
 
News: OpenAIのDota2攻略への挑戦がまとめられた論文がでました。大枠のモデルから細かいテクニックまで解説されていてとても興味深いです。中でも学習結果の持越しは注目ポイントかなと思います(強
 

piqcy

December 20 · Issue #156 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
OpenAIのDota2攻略への挑戦がまとめられた論文がでました。大枠のモデルから細かいテクニックまで解説されていてとても興味深いです。中でも学習結果の持越しは注目ポイントかなと思います(強化学習の転移はあまり実例がないので)。Deep Mindの、声を失ってしまった人に自然な音声合成を提供するのはとても良い試みだと思います。TransformerのOSS開発に邁進するHugging Faceが資金調達を行いました。もともとはチャットアプリを作っていたはずですが、OSS開発に舵を切って拡大した印象です。自分達が作りたいものと求められるものは違ったりするので、この方向転換+あまり収益の見通しが立たないOSSへ邁進したのはなかなかできることではないと思います。
Articles:
AdaShareはマルチタスクモデル構築の悩みを解決する手法です。共有する/しないレイヤの選択を学習するという点を見ると、AutoMLに近いところがあるかなと思います。自然言語処理でも似た研究があります。テキスト特徴と因果推論を組み合わせて、行動を誘発するテキストを探るのはとても興味深い研究です。詳細は記事に記載されていますが、特徴を反転させて学習するのは因果推論の知見に基づいたテクニックで、久々にすごいなと思った工夫でした。
Resources:
Research Methods in Machine Learningは、研究テーマを決める際にぜひ見ておきたい資料です。初期段階だから良い/成熟段階だからあきらめた方がいいというわけでなく、研究テーマのステージを意識した戦略とスキルセットを持つ方がいいと示唆しています。Mathematics for Machine Learningは、機械学習のための数学の本ですが「機械学習に携わる者ならすべからく・・・」という押し付けがましい感じがなく、基礎を学びたい人も応用でかかわる部分だけ知りたい人にも参照しやすく構成されています。Quality-Diversityは進化戦略の21世紀版という感じで、個人的にはとても可能性を感じます。

News
OpenAI Five
Using WaveNet technology to reunite speech-impaired users with their original voices | DeepMind
Hugging Face – On a mission to solve NLP, one commit at a time.
自然言語処理ライブラリ開発のHugging Faceが約16億円調達 | TechCrunch Japan
[1912.04977] Advances and Open Problems in Federated Learning
Articles
[1912.06218] YOLACT++: Better Real-time Instance Segmentation
[1911.12423] AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
Text Feature Selection for Causal Inference | The Stanford AI Lab Blog
[1912.04971] Neural Module Networks for Reasoning over Text
Graph Convolution over Pruned Dependency Trees Improves Relation Extraction - ACL Anthology
[1912.05652] Learning Human Objectives by Evaluating Hypothetical Behavior
[1906.02629] When Does Label Smoothing Help?
Resources
Research Methods in Machine Learning
About | Quality-Diversity optimisation algorithms
Mathematics for Machine Learning | Companion webpage to the book
Recent Advances on Transfer Learning and Related Topics Ver.2
はんぺんのIT日記(改)
モデルから学習データが復元される話 - Qiita
NER algo benchmark: spaCy, Flair, m-BERT and camemBERT on anonymizing French commercial legal cases
Object Detection and Tracking with Firebase ML Kit and cameraX — ML Product Search (Part 3)
GitHub - maximecb/gym-miniworld: Simple 3D interior simulator for RL & robotics research
Data science for cybersecurity: A probabilistic time series model for detecting RDP inbound brute force attacks - Microsoft Security
DevFest 2019/B33 -令和元年Google機械学習技術総決算(配布用) - Google Slides
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue