View profile

Weekly Machine Learning #103

Revue
 
News: Facebookから、テキスト処理のためのDNNライブラリ、進化戦略のライブラリがリリースされました。Paints Chainerはとうとうアニメ制作の場に登場。クールジャパンと言われながら
 

piqcy

December 21 · Issue #104 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: Facebookから、テキスト処理のためのDNNライブラリ、進化戦略のライブラリがリリースされました。Paints Chainerはとうとうアニメ制作の場に登場。クールジャパンと言われながら過酷な労働が続いているという話を良く見聞きするので、クリエーターの支援に繋がればよいなと思います。NIPSにおけるアート作品も、機械学習とアート制作とのかかわりを感じさせてくれます。
Articles: Linguistically-Informed~はEMNLP2018のベストペーパーの一つです。言語的な知識による誘導、マルチタスク、といった近年注目されている手法を詰め込んだ手法という印象です。そういう意味ではかなりトレンディな手法です。Bayesian Optimization in AlphaGoはその名の通りAlphaGoにおけるハイパーパラメーターサーチの話です。Resourceにもありますが、モデルの構築、パラメーター探索の自動化は研究のプロセスにも入ってくるのではないかなという気がします(パラメーター設定値が異常に細かい論文も散見するので、そうした論文はすでに使っているのではないかと思います)。
Resources: 今週は良い資料が多かったです。TensorFlow Extended、Auto ML、深層強化学習、Amazon Mechanical Turk、Machine Comprehension等の資料は必見です。BERTのAttentionの解析の記事はなかなか示唆に富んでおり、参考になります、10 Exciting Ideas~は、近年のNLPのトレンドがつかめる良い記事です。
Series: Graph Convolutionによるテキスト分類を分析したところ、厳しい現実が明らかになりました。連載以外に、arXivTimes輪講で話したDataset Distillationの話と、Weekly Machine Learningを始めた/続けている背景についてお話しした資料をつけています。

News
Open-sourcing PyText for faster NLP development
Nevergrad: An open source tool for derivative-free optimization - Facebook Code
Creative Project - 株式会社Preferred Networks
AI Art Gallery – NeurIPS Workshop on Machine Learning for Creativity and Design 2018
Competition Detail/日本電信電話株式会社 | SIGNATE - Data Science Competition
The major advancements in Deep Learning in 2018 | Tryolabs Blog
Articles
How AI Training Scales
Contextual String Embeddings for Sequence Labeling - ACL Anthology
[1804.08199] Linguistically-Informed Self-Attention for Semantic Role Labeling
[1812.06855] Bayesian Optimization in AlphaGo
[1811.04551] Learning Latent Dynamics for Planning from Pixels
[1812.03973] Bayesian Layers: A Module for Neural Network Uncertainty
Resources
あなたの機械学習システム構築を手助けする、TensorFlow Extended - Qiita
入門 Automated Machine Learning - Speaker Deck
深層強化学習の最前線 - Speaker Deck
実践 Amazon Mechanical Turk
Neural Reading Comprehension and Beyond | Stanford Digital Repository
10 Exciting Ideas of 2018 in NLP
A GAMEBOY supercomputer – Towards Data Science
Deconstructing BERT: Distilling 6 Patterns from 100 Million Parameters
4 More Quick and Easy Data Visualizations in Python with Code
ipywidgetsの使い方
強化学習フレームワークRLlibの使い方 - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
Music Transformer: Generating Music with Long-Term Structure
時間のかかる前処理をDaskで高速化 - ぴよぴよ.py
GitHub - clic-lab/touchdown: Cornell Touchdown natural language navigation and spatial reasoning dataset.
Series
Graph Convolutionで自然言語処理を行う(テキスト分類編) Part4 – programming-soda – Medium
モデルではなく、データセットを蒸留する
Curiosity may drives your output routine.
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue