View profile

Weekly Machine Learning #145

Revue
 
News: Northstarは、データ活用の最先端を感じさせられます。最終的には「経験からいかに学ぶか」という点に収束していくのかなと思います(その裏で動いているデータを扱うためのあれこれや、予測を行
 

piqcy

October 12 · Issue #146 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
Northstarは、データ活用の最先端を感じさせられます。最終的には「経験からいかに学ぶか」という点に収束していくのかなと思います(その裏で動いているデータを扱うためのあれこれや、予測を行うためのモデル構築うんぬんは可能な限り隠蔽される)。今後データ化やモデル化が促進されるのはもちろんですが、フィードバックループ(行動後のデータ変化から再学習する)も一つのキーワードになってくるのではと思います。PyTorchはDeveloper Summitにあわせて1.3と周辺ツールをリリースしました。イベントに合わせてちゃんとリリースするのはさすがだと思います(某フレームワークはそこが・・・)。PRMUのメンタープログラムが開始しているので、CVPR2020を目指す方はぜひ!
Articles:
Unsupervised Distillation~は、自然言語における潜在表現のDisentangleに挑戦した研究です(Disentangleについては、Resourcesに資料があるのでチェックしてみてください)。やろうとしていること自体はオーソドックスですが、データの生成に言語モデルなどを駆使していてその工夫に感心しました。俯瞰的にみればメタラーニングに近いかもしれません(言語モデルとして学習されたパターンを蒸留してより意味/サイズが圧縮された表現を獲得する)。画像に応用すれば、GANで生成した画像から何かしらの潜在表現を得る形に近いと思います。Advantage-Weighted Regression~は個人的にお気に入りの研究です。Replay BufferとPolicy Gradientの綺麗な合流点に感じられるためです。最近は分散学習が主流なのでメモリーを食うReplay Bufferはあんま出番がないかもしれませんが・・・
Resources:
From data to Vizは可視化を学ぶのにとても良いサイトです。はじめての自然言語処理 spaCy/GiNZA を用いた自然言語処理~は、自然言語処理に携わっている方におすすめな記事です。自然言語処理の実装でよく使われるspaCyについての解説、またGiNZAで可能になったUniversal Dependencyの解説と実現したことの意義がとても丁寧に書かれています。spaCyベースで開発できることで端に実装が楽になるだけでなく、実装を他言語へ展開する・他言語から実装を導入することが容易になります。実装の上にはサービスが乗るので、日本語のサービスを海外展開するのが容易になる一方、海外サービスで日本語だけ取り残される事態が減るという点で意義があります。Could machine learning ~は衛星画像を利用して貧困の度合いを推定るという記事です。今まで取れなかったデータの取得、また取れていたデータからより詳細な情報を抜く、複数のデータから高次の特徴を抜く、という技術は今後より発展してくると思います。データがそろえばあとはKaggleの世界なので、その意味ではデータと加工技術こそ差別化要素と言えるかもしれません。


News
Northstar — The Latest & Greatest in Drag-and-drop data analytics from MIT and Brown University
sotabench: Benchmarking Every Open Source Model
The Geographic Diversity of NLP Conferences - Marek Rei
Announcing Support for Native Editing of Jupyter Notebooks in VS Code | Python
PyTorch 1.3 adds mobile, privacy, quantization, and named tensors
GitHub - pytorch/captum: Model interpretability and understanding for PyTorch
GitHub - facebookresearch/torchbeast: A PyTorch Platform for Distributed RL
GiNZA - Japanese NLP Library: Universal Dependenciesに基づくオープンソース日本語NLPライブラリ
Frontiers: Machines vs. Humans: The Impact of Artificial Intelligence Chatbot Disclosure on Customer Purchases | Marketing Science
Deep Learning: Our Miraculous Year 1990-1991
The Global Expansion of AI Surveillance - Carnegie Endowment for International Peace
How Salesforce Einstein Is Helping Track (and Protect) Great White Sharks in the Wild - Salesforce.com
ROBEL - Getting Started
PRMU Research Mentorship Program
Articles
[1910.00927] Stabilizing Generative Adversarial Network Training: A Survey
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations | OpenReview
[1908.07181] Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference using a Delta Posterior
[1910.00486] Dialogue Transformers
The Risk of Racial Bias in Hate Speech Detection - ACL Anthology
Do recent advancements in model-based deep reinforcement learning really improve data efficiency? | OpenReview
[1910.00177] Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
[1910.01727] Generalized Inner Loop Meta-Learning
[1903.07571] Two models of double descent for weak features
PowerSGD: Powered Stochastic Gradient Descent Methods for Accelerated Non-Convex Optimization | OpenReview
Resources
From data to Viz | Find the graphic you need
Start Here with Computer Vision, Deep Learning, and OpenCV - PyImageSearch
Let’s Train GANs to Play Guitar: Deep Generative Models for Guitar Cover | SALu
Disentanglement Survey:Can You Explain How Much Are Generative models Disentangled?
Feature Engineering of Electronic Medical Records - Jill Cates - Medium
はじめての自然言語処理 spaCy/GiNZA を用いた自然言語処理 | オブジェクトの広場
Ginkgo Biloba Whole - SUPP.AI by AI2
GitHub - thunlp/PLMpapers: Must-read Papers on pre-trained language models.
TensorFlow 2.0 + Keras Overview for Deep Learning Researchers
Disentangled な表現の教師なし学習手法の検証 | Preferred Research
Could machine learning put impoverished communities back on the map? | Stanford School of Engineering
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue