View profile

Weekly Machine Learning #133

Revue
 
News: 企業同士の研究発表会ともいえる、CCSE2019が開催された週でした。そこでは研究発表以外にも様々な研究にまつわるトークが交わされましたが、その延長戦の場としてResearch Manage
 

piqcy

July 20 · Issue #134 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: 企業同士の研究発表会ともいえる、CCSE2019が開催された週でした。そこでは研究発表以外にも様々な研究にまつわるトークが交わされましたが、その延長戦の場としてResearch Manager Meetup #2を開催します!CCSEに来られなかった方、語り足りない方、ぜひお越しください。TensorFlow.Text、またtransformer-pytorch 1.0などテキストを扱うライブラリが続々公開されました。NeurIPS 2019での強化学習コンペティションは、いずれもとても面白いものばかりです。より実用・実践的なシーンが意識されてきているなと感じます。
Articles: Large Memory Layersは、実験はTransformerをベースにしていますが他のモデルでも十分応用可能なのではないかと思います。Sparse Networksは学習中の枝刈り(というより間引き?)に近い話です。GraphNVPはFlowモデルの特性をうまく活かした研究で、モデルの特性と解決したい課題がマッチしていてとても良いなと感じました。
Resources: 深層学習の原理を明らかにする~は深層学習の未解明問題についてとても分かりやすく書かれていて、良い導入の資料となっています。データ分析における特徴量エンジニアリングは、保存版の資料だと思うのでぜひお気に入りに入れておくことをお勧めします。GECCO 2019は遺伝的アルゴリズム/進化戦略に特化したカンファレンスで、チュートリアルが充実していてお勧めです(アート関連のものもあります)。アートつながりでは、Runwayはデザイナーのための機械学習プラットフォームといった趣でとてもよくできています。

News
Research Manager Meetup #2 (2019/08/09 19:00〜)
Google AI Blog: Announcing the YouTube-8M Segments Dataset
GitHub - tensorflow/text: Making text a first-class citizen in TensorFlow.
GitHub - tunz/transformer-pytorch: Transformer implementation in PyTorch.
Game of Drones - Competition at NeurIPS 2019 - Microsoft Research
GitHub - minerllabs/minerl: MineRL Competition for Sample Efficient Reinforcement Learning - Python Package
Articles
[1907.05572] R-Transformer: Recurrent Neural Network Enhanced Transformer
[1907.05242] Large Memory Layers with Product Keys
[1907.04840] Sparse Networks from Scratch: Faster Training without Losing Performance
[1905.11600] GraphNVP: An Invertible Flow Model for Generating Molecular Graphs
[1904.12225] A Deep Generative Model for Graph Layout
Resources
深層学習の原理を明らかにする理論の試み
データ分析における特徴量エンジニアリング / feature engineering recipes - Speaker Deck
GECCO 2019 | Tutorials
StanfordNLP 0.2.0 - Python NLP Library for Many Human Languages | StanfordNLP
Deep learning for specific information extraction from unstructured texts
Cloud Composer & Dataflow によるバッチETLの再構築 #data_ml_engineering / 20190719 - Speaker Deck
【開催報告&資料公開】ML@Loft #3 – Recommendation | Amazon Web Services
Are Commercial Labs Stealing Academia’s AI Thunder?
⛓ Adding support for model chaining - runwayml - Medium
Autocompletion with deep learning
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue