View profile

Weekly Machine Learning #110

Revue
 
News: 最新のSOTAスコアが参照できる、Browse the ~が公開されました。SOTAスコアの歴史は手法改善の歴史ともいえるので、研究の過程が追いやすくなって良いと思います。先週はAAAI開催
 

piqcy

February 8 · Issue #111 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: 最新のSOTAスコアが参照できる、Browse the ~が公開されました。SOTAスコアの歴史は手法改善の歴史ともいえるので、研究の過程が追いやすくなって良いと思います。先週はAAAI開催週だったこともあり、いくつか報告レポートが出ているため紹介しています。自然言語処理のセッション/発表も結構あったよう。
Articles: Approximating CNNs~は、古典的かつ解釈性の高いモデルをDNNで再現したようなモデルになっています。同様の手法は、もしかしたら自然言語でも有効かもしれません(Bag of FeatureはそのままBag of Wordsに置き換えられるので)。Fixup InitializationはBatch Normalizationを置き換えるかもしれない初期化方法です。経験的にうまくいく手法を踏襲するのでなく、本来どうあるべきか、という点に立ち返ったという意味で視点的にも良い研究だと思いました。The Evolved Transformerは来たかという研究で、モデルを作るのはどんどん人間側の作業で無くなることを予期させます。
Resources: 単語埋め込みに関連した応用事例は、解説と実験結果がとても丁寧に書いてありわかりやすいです。実際の現場では、こうした「ちょっと改善したい/適応させたい」というケースが結構多いのではないかなと思います。Introduction to StanfordNLP~は、先日公開された多言語対応の形態素解析/係り受け解析を行ってくれるstanfordnlpの解説です。私も試しましたが、日本語でもちゃんと動きました。麻雀AIのNAGAの記事は、人間が読んでも参考になる示唆に富んでいるので、おすすめです。
Series: 「Graph Convolutionを自然言語に適用する」ということをテーマに連載していましたが、その最終回となります。ドン!という結果にはなりませんでしたが、応用の際に検討すべきポイントと実験はできたかなと思います。研究の過程/進捗を公開するのは初の試みでしたが、Twitterで参考となる論文を教えていただくなど、良いこともかなりありました。次回の連載テーマは考え中です!

News
Browse the State-of-the-Art in Machine Learning
NICT SpaceHack 2019
Job loss due to AI — How bad is it going to be? – Skynet Today
Release v0.5.0 · pfnet-research/chainer-chemistry · GitHub
AAAI Conference Analytics - Microsoft Research
AAAI 2019 Highlights: Dialogue, reproducibility, and more
過酷なアニメ制作の現場、AIで救えるか 「動画マン」の作業を自動化、DeNAの挑戦 (1/2) - ITmedia NEWS
Articles
Approximating CNNs with Bag-of-local-Features models works surprisingly well on ImageNet | OpenReview
[1901.09321] Fixup Initialization: Residual Learning Without Normalization
[1901.11373] Learning and Evaluating General Linguistic Intelligence
[1902.00508] How to (Properly) Evaluate Cross-Lingual Word Embeddings: On Strong Baselines, Comparative Analyses, and Some Misconceptions
[1902.01313] An Effective Approach to Unsupervised Machine Translation
[1804.06473] Robust Machine Comprehension Models via Adversarial Training
[1902.01370] Insertion-based Decoding with Automatically Inferred Generation Order
[1901.11117] The Evolved Transformer
[1811.05931] Evolving intrinsic motivations for altruistic behavior
[1806.03536] Representation Learning on Graphs with Jumping Knowledge Networks
[1902.01718] End-to-End Open-Domain Question Answering with BERTserini
[1902.01889] Analyzing and Improving Representations with the Soft Nearest Neighbor Loss
Resources
単語埋め込みに関連した応用事例の紹介 / Case Study in Word Embedding - Speaker Deck
Introduction to StanfordNLP: An Incredible State-of-the-Art NLP Library for 53 Languages (with Python code)
Generalized Language Models
About UCI NLP – Medium
不均衡データへの決定打となるか!?「Affinity loss」の論文を読む、実装する - Qiita
GitHub - NVlabs/stylegan: StyleGAN - Official TensorFlow Implementation
GitHub - deepmind/hanabi-learning-environment
Quantifying Generalization in Reinforcement Learning
深層学習麻雀AI「NAGA」 - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
Series
Graph Convolutionを自然言語処理に応用する Part7(End) – programming-soda – Medium
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue