View profile

Weekly Machine Learning #112

Revue
 
News: TensorFlow公式から、2.0での主要な変更点がアナウンスされました。TensorFlow Developer Summitが3/6-7なので、多分そこで正式に2.0が来るんじゃないか
 

piqcy

February 22 · Issue #113 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: TensorFlow公式から、2.0での主要な変更点がアナウンスされました。TensorFlow Developer Summitが3/6-7なので、多分そこで正式に2.0が来るんじゃないかと思います。期待して待ちましょう!Gen Studioはとても面白い試みで、GANを使って美術品を合成できるというサイトです。メトロポリタン美術館とMIT/Microsoftが行ったハッカソンで作られた作品で、こうしたあるドメインとテクノロジーが出会う場が普及すればよいなと思います(アートに限らず)。個人的には、技術は進んでいるけれどもそこに解決すべき課題が上手く流れていない印象があるので。
Articles: 今週は理論系の論文が少し多めでした(=読むのが大変でした)。 Superposition of many models~は重み空間の効率的な利用、Wide Neural Networks~はSGDによる学習過程が(レイヤの幅が無限ならば)一次線形の変換と等価とした研究です。まだあまり読み込めてないのですが、結構衝撃的な内容です。Transfusionは何が転移されているのか?を調査した研究で、論文内で提案されている「単に事前学習済みモデルの重みの平均/分散で初期化すれば効果が得られる」というのはちょっと試してみたいです。
Resources: dgraphは知らなかったのですが、スケール/クエリが容易なグラフデータベースです。記事にはグラフの重要性が書かれていますが、確かにこの辺りは(理論だけでなく実装も)押さえておいた方が良いかなと思っています(Graph Convolutionやった身として)。Meta-Learningの記事は、とても良いチュートリアルになっています。シンプルな演算/勾配計算のライブラリであるJAXを使った実装もあり、参考になります。近似最近傍探索の記事は、実装ライブラリの使用感がまとまっており大変ありがたい記事です。
Series: 今週は強化学習本について寄せられた質問への回答と、Graph Convolutionの連載中にブラッシュアップしていたライブラリのリリースを行いました。

News
Effective TensorFlow 2.0: Best Practices and What’s Changed
Deep Learning Track
The 2019 Top 10 Most Innovative Companies by Sector: Artificial Intelligence | Fast Company
Data analytics, meet containers: Kubernetes Operator for Apache Spark now in beta | Google Cloud Blog
Emergent Coordination through Competition
scispacy | SpaCy models for biomedical text processing
Gen Studio
バッグとグラスをメインに合成してみたもの。バッグの模様がどことなく出ている
バッグとグラスをメインに合成してみたもの。バッグの模様がどことなく出ている
Dear OpenAI: Please Open Source Your Language Model
Articles
[1902.05522] Superposition of many models into one
[1902.06720] Wide Neural Networks of Any Depth Evolve as Linear Models Under Gradient Descent
[1902.07208] Transfusion: Understanding Transfer Learning with Applications to Medical Imaging
[1805.11004] Soft Layer-Specific Multi-Task Summarization with Entailment and Question Generation
[1811.04533] M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network
Learning Latent Dynamics for Planning from Pixels
[1902.05220] Network Semantic Segmentation with Application to GitHub
Resources
Why Google Needed a Graph Serving System - Dgraph Blog
GitHub - Kaixhin/spinning-up-basic: Basic versions of agents from Spinning Up in Deep RL written in PyTorch
Eric Jang: Meta-Learning in 50 Lines of JAX
fastec2: AWS computer management for regular folks · fast.ai
近似最近傍探索ライブラリ比較 - Qiita
Deeper Things: How Netflix Leverages Deep Learning in Recommendations and Search
PyTorchでより深いMatrix Factorization – nardtree – Medium
【松尾研主催DeepLearning勉強会】DL Hacksのご紹介 | 東京大学 松尾研究室's Blog
[DL Hacks]tensorflow/privacy 使ってみた
不均衡データを損失関数で攻略してみる - Qiita
The Macroscope: A tool for examining the historical structure of language | SpringerLink
Finding Lena Forsen, the Patron Saint of JPEGs | WIRED
Series
Pythonで学ぶ強化学習 -一問一答- – programming-soda – Medium
自然言語処理における、前処理のポータビリティを向上させる – chakki – Medium
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue