View profile

Weekly Machine Learning #111

Revue
 
News: TensorFlowが、とうとうPython3.7に対応しました。このせいであえてPython3.6を使っていた、という方もいると思います(私ですが)。ようやく3.7で使えるようになりました
 

piqcy

February 15 · Issue #112 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: TensorFlowが、とうとうPython3.7に対応しました。このせいであえてPython3.6を使っていた、という方もいると思います(私ですが)。ようやく3.7で使えるようになりました。Magenta Studioは、ぜひ試してみたいツールです。研究、OSSとしての実装、実機(DAW)への組み込み、と進化の過程を追ってきた身としてはちょっと感慨深いものがあります。これから先、どういう進化を遂げるのか楽しみです。ELFはAlaphaGoZero/AlphaZeroの再現実装で、これでおうちでも最強の囲碁プレイヤーと対局できるようになりました。
Articles: AAAIが落ち着いたからか、今週は論文が少なめでした。Deep Learning for Anomaly Detectionはとてもよく書かれたサーベイで、異常検知のサーベイでは出色の出来栄えと思います。Distilling Policy Distillationも、強化学習の戦略蒸留についてのまとめでとてもよく書かれています。ただ、いかんせん内容がちょっと難しく読み込めてないです。解説スライドなどを誰か出してくれることをちょっと期待しています。Better Language Models~は、物量の暴力といった感じの研究です。画像/自然言語処理/強化学習(OpenAI Fiveのような)、各分野でモデル<データという流れが起きつつあるなという印象です(機械学習自体その流れではありますが)。
Resources: UC Berkeleyの自然言語のコース資料は、とてもよく構成されておりお勧めです。わかりやすいのはもちろんですが、身近な題材を例にとってくれているので親しみやすいです。今週は機械学習のパイプラインを構築するツールとして、Luigiを使った例とAirflowを使った例のそれぞれを取り上げています。これは次回の連載テーマとして検討しているので、私自身どちらをとるか考えてみたいと思います。Andrew Ng先生によるAIプロジェクトの始め方は、示唆に富んでおり参考になります。ビジネス化/社内適用などを検討している際は、一読の価値があると思います。
Series: 次回連載を準備中です。パイプラインの構築か、実際のテキストデータを扱うシリーズになる予定です。

News
Python 3.7 compatibility · Issue #20517 · tensorflow/tensorflow · GitHub
Magenta Studio
Developer tools for advancing the world's AI
Release Adding OpenAI GPT and Transformer-XL pretrained models, python2 support, pre-training script for BERT, SQuAD 2.0 example · huggingface/pytorch-pretrained-BERT · GitHub
Articles
[1901.03407] Deep Learning for Anomaly Detection: A Survey
[1902.02186] Distilling Policy Distillation
[1902.02992] A Differentiable Gaussian-like Distribution on Hyperbolic Space for Gradient-Based Learning
Better Language Models and Their Implications
Resources
Info 159/259. Natural Language Processing
Google Cloud TPUを使った計量学習の高速化事例の紹介 - ZOZO Technologies TECH BLOG
AI・機械学習チームにおけるデータパイプライン構築 - Speaker Deck
リブセンスのデータ分析基盤とAirflow - Speaker Deck
Andrew Ng: How to Choose Your First AI Project
GitHub - neulab/compare-mt: A script to compare machine translation results and extract salient features
GitHub - plasticityai/magnitude: A fast, efficient universal vector embedding utility package.
BERT, Transfer learning for dialogue, Deep Learning SOTA 2019, Gaussian Processes, VI, NLP lesson curricula, fast.ai lessons, AlphaStar, How to manage research teams | Revue
UnrealROX: A Photorealistic Virtual Reality Environment for Robotics Simulations - sim2RealAI.
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue