View profile

Weekly Machine Learning #139

Revue
 
News: TensorFlow 2.0 RC0がとうとう公開されました。だいぶ待った割には" focus on simplicity and ease of use"と述べられておりそれならさっさと・
 

piqcy

August 30 · Issue #140 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: TensorFlow 2.0 RC0がとうとう公開されました。だいぶ待った割には" focus on simplicity and ease of use"と述べられておりそれならさっさと・・・と思わなくもないです。マイクロソフトの麻雀AIは結構衝撃的なニュースです。麻雀は偶然性による左右も大きく戦略も上がり/下りなど様々でかなり難しいゲームと思います。まだ詳細が不明ですが、出たらチェックしたいです。日本語Universal DependencyのデータUD_Japanese-GSDから、NC(商用禁止)条項が外れることになりました。関係者の方々のご尽力、感謝です。みんなでアノテーションしよう!
Articles: 今週は結構重めな論文が多かったです。Reconciling modern~は過学習のその先があるのではという研究です。まだ理論的な説明は薄い印象ですが、形として提唱された意義は大きいと思います。RNNs Evolving~はRNNの勾配消失/爆発を根本的に解決する研究で、インパクトは大きいと思います。最近RNNの姿を見かけることが少なくなりましたが、これで復活があるかもしれません。Graph Neural Netの事前学習はとても興味深いです。知識の転移などがうまくいけば、応用の幅が広がるかもしれません。
Resources: Parameter optimization~はとてもよくできた最適化の解説記事です。書き方をちょっと見習いたいです。Text similarity search in Elasticsearch~は、待望のベクトルに基づく検索機能について書かれています。これを気にElasticsearch入門してみたいという方も少なくないのではと思います。ABテストの記事は、単純に手法だけでなく運用についても触れられています。どういう結果がでたらどういう判断をするのか、という点は結構問題になると思うので参考になると思います。
Series: YANS2019で開催したアノテーションハッカソンのインフラについて記事を書きました。つまらないと思われがちなアノテーションを楽しくしてみたい方は是非!

News
Release TensorFlow 2.0.0-rc0 · tensorflow/tensorflow · GitHub
麻雀 AI Microsoft Suphx が人間のトッププレイヤーに匹敵する成績を達成 - News Center Japan
Open-sourcing hyperparameter autotuning for fastText
MegatronLM: Training Billion+ Parameter Language Models Using GPU Model Parallelism - NVIDIA ADLR
About the CC BY-"NC"-SA LICENSE · Issue #14 · UniversalDependencies/UD_Japanese-GSD · GitHub
GitHub - deepmind/open_spiel
Articles
Deep Metric Learning: A Survey
[1907.05740] Gated-SCNN: Gated Shape CNNs for Semantic Segmentation
[1812.11118] Reconciling modern machine learning and the bias-variance trade-off
[1908.08574] RNNs Evolving on an Equilibrium Manifold: A Panacea for Vanishing and Exploding Gradients?
[1905.12265] Pre-training Graph Neural Networks
Reflection on modern methods: when worlds collide—prediction, machine learning and causal inference | International Journal of Epidemiology | Oxford Academic
Google AI Blog: Bi-Tempered Logistic Loss for Training Neural Nets with Noisy Data
Resources
Parameter optimization in neural networks
Text similarity search in Elasticsearch using vector fields | Elastic Blog
nlpaper.challenge 外部知識に基づく応答生成サーベイ - Speaker Deck
Making Transformer networks simpler and more efficient
Gunosy MLチームでのABテストの設計と運用 - Gunosyデータ分析ブログ
🏎 Smaller, faster, cheaper, lighter: Introducing DistilBERT, a distilled version of BERT
Series
孤独でつらい機械学習データの作成を、ワイワイ楽しくする環境を3日で作る - Qiita
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue