View profile

Weekly Machine Learning #138

News: フル学習モデルを公開せず批判を受けたGPT-2ですが、初期リリース以後の検証結果が公開されました。最初は影響ない範囲で公開、研究機関にだけより学習したモデルを提供し、影響を確認してからパラメ


August 23 · Issue #139 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: フル学習モデルを公開せず批判を受けたGPT-2ですが、初期リリース以後の検証結果が公開されました。最初は影響ない範囲で公開、研究機関にだけより学習したモデルを提供し、影響を確認してからパラメーターの多いモデルを公開、というプロセスになっています。このプロセスに対する是非はあると思いますが、Fake Newsが話題となる中で「悪用されたらゴメンな」というスタンスで本当にいいのかというのは議論する価値のある話題と思います。ML Retrospectivesは機械学習研究者の懺悔室といったサイトです。「実はあの実験結果は・・・」という話をみんなでしてこうぜという試みです。
Articles: 機械翻訳のコンペティションであるWMT19で、人間の翻訳を超えるモデルが出てきました(掲載しているのはFacebookですが、Microsoftも超えてます)。使われている手法はTransformerベースで、学習の手法や前処理で差異が出てきているという印象です。画像におけるResNetのように、自然言語もモデルがサチってきたなと感じます(こうなるとTransformerのHead/レイヤ数をAutoMLで調理になるかと)。Auto-MLのサーベイは商用サービスまで調べてくれていてとてもありがたいです。
Resources: Transformerの解説はとても分かりやすいです。対話システムに関する記事は、わかりやすいだけでなく実践的+読み物としても面白かったです。素のResNetをチューニングする記事は、こんな細かいトリックあるんだなという印象です(これがCIFARに特化したものでなければいいのだが・・・とは思いますが)。Erruditeは自然言語処理モデルのエラー解析を行うためのツールで、今まで手動で行っていたような解析をアシストしてくれます(どんなサンプルでエラー率が高いのかという)。法律文書特化のspaCyは、こんな言語資源の提供の仕方があるんだなという印象です。日本語でも出てくるといいなと思います(ginzaはspaCyベースですし)。

GPT-2: 6-Month Follow-Up
PHYRE: A new AI benchmark for physical reasoning
ML Retrospectives
GitHub - deepmind/spriteworld: Spriteworld: a flexible, configurable python-based reinforcement learning environment
Understanding Clouds from Satellite Images | Kaggle
Shinnosuke Takamichi (高道 慎之介) - jvs_corpus
IEEE CoG 2019 Proceedings | IEEE Conference on Games (CoG) 2019
「監視カメラの画像認識をだます服」をハッカー兼ファッションデザイナーが発表 - GIGAZINE
[1907.06616] Facebook FAIR's WMT19 News Translation Task Submission
[1906.09308] Approximating Interactive Human Evaluation with Self-Play for Open-Domain Dialog Systems
[1908.03265] On the Variance of the Adaptive Learning Rate and Beyond
Testing Robustness Against Unforeseen Adversaries
[1908.05557] Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools
Transformers from scratch | Peter Bloem
What makes a good conversation? | The Stanford AI Lab Blog
How to Train Your ResNet 8: Bag of Tricks - Myrtle
Errudite: Scalable, Reproducible, and Testable Error Analysis
GitHub - uwdata/visualization-curriculum: A data visualization curriculum of interactive notebooks.
画像の認識・理解シンポジウム (MIRU2019)に参加して来ました! - Gunosyデータ分析ブログ
顔認証入門 #4 FAR・FRR・EER - 51's blog
GitHub - heartexlabs/label-studio: Label Studio is a multi-type data labeling and annotation tool with standardized output format
Evolving Networks – wellecks
The State of Transfer Learning in NLP
GitHub - facebookresearch/XLM: PyTorch original implementation of Cross-lingual Language Model Pretraining.
GitHub - ICLRandD/Blackstone: A spaCy pipeline and model for NLP on unstructured legal text.
SIGGRAPH 2019 Report
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue