View profile

Weekly Machine Learning #117

News: 深層学習における御三家が、チューリング賞を受賞することと相成りました。2018年度最後の、大きなニュースだと思います。SpaCyは、2系が非常に遅かったため2.1での速度の改善に期待したいで


March 29 · Issue #118 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: 深層学習における御三家が、チューリング賞を受賞することと相成りました。2018年度最後の、大きなニュースだと思います。SpaCyは、2系が非常に遅かったため2.1での速度の改善に期待したいです。OpenAI Fiveの最終戦は4/13に。この週はGoogleがゲームプラットフォームであるStadiaを発表し話題となりましたが、今後ゲーム X AIは研究だけでなく「遊び」の発明も進んでいくかもしれません(AIとの共同プレイなど)。
Articles: MONet/Multi-Object Representation~は、いずれも複数物体が含まれる画像について、物体ごとの表現を学習する手法です。画像分野は「単体」についてはクリアしてしまった印象があるので、今後は複数/混合へと進んでいくのかもしれません。Low Resource Text Classification~を見ると、本当に自然言語でも少数データで学習ができるようになったのだなと実感します。
Resources: 転移学習の記事は、とても体系的にまとまっておりお勧めです。RNNの記事はビジュアライゼーションの技法が凝らされており、視覚的/インタラクティブに挙動をみることができ良いです。こうした、機械学習モデルの動作演出用JavaScript/CSSとかがそろそろまとまってくれないかなと感じる今日この頃です。サーバーなどのリソース監視(SRE)への機械学習の適用は興味深いです。現在は人手がメインですが、ここも自動化の流れが進むかもしれません。システム開発ダークサイドの一例として深夜の呼び出し電話がありますが、そうした事態が減るなら業界にとってもとても良いと思います。
Series: 今回から、実際のデータ処理に近いワークフローの開発に入っていきます。EDINETからの文書取得を題材に、ワークフローの実装・テスト・デプロイまでを行いました。

Turing Award Won by 3 Pioneers in Artificial Intelligence - The New York Times
Introducing spaCy v2.1 · Blog · Explosion AI
OpenAI Five Finals
[1901.11390] MONet: Unsupervised Scene Decomposition and Representation
[1903.00450] Multi-Object Representation Learning with Iterative Variational Inference
StrokeNet: A Neural Painting Environment | OpenReview
[1903.08445] Left-to-Right Dependency Parsing with Pointer Networks
[1903.07785] Cloze-driven Pretraining of Self-attention Networks
[1901.11504] Multi-Task Deep Neural Networks for Natural Language Understanding
[1903.09244] Low Resource Text Classification with ULMFit and Backtranslation
Improving Relation Extraction by Pre-trained Language Representations | OpenReview
[1903.10561] On Measuring Social Biases in Sentence Encoders
[1903.10346] Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition
SimBenchmark | Physics engine benchmark for robotics applications: RaiSim vs. Bullet vs. ODE vs. MuJoCo vs. DartSim
[1903.11329] Generalized Off-Policy Actor-Critic
[1902.09843] Adaptive Gradient Methods with Dynamic Bound of Learning Rate
[1903.10520] Weight Standardization
Neural Transfer Learning for Natural Language Processing (PhD thesis)
Visualizing memorization in RNNs
GitHub - kubeflow/fairing: An experimental library to fire of TFJob, PyTorchJob etc... from Jupyter
GitHub - ajbrock/BigGAN-PyTorch: The author's officially unofficial PyTorch BigGAN implementation.
GitHub - korymath/talk-generator: talk-generator is capable of generating coherent slide decks based on a single topic suggestion.
不動産価格分析とモデルの作成とクローム拡張 - にほんごのれんしゅう
NLP前処理ツール「chariot」とPyTorchで日本語テキスト分類 - やむやむもやむなし
コンピュータグラフィックスにおける深層学習の応用 - Speaker Deck
SREへの機械学習適用に関するサーベイ / A Survey for Cases of Applying Machine Learning to SRE - Speaker Deck
Deep Metric Learning の定番⁈ Triplet Lossを徹底解説 - Qiita
Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part3 – programming-soda – Medium
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue