View profile

Weekly Machine Learning #153

Revue
 
News: Chainerが開発を停止し、PyTorchに合流するというとても大きなニュースがありました。Newsのセクションでは開発者得居さんの記事や海外での反応を掲載しています。個人的に思うところは
 

piqcy

December 6 · Issue #154 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
Chainerが開発を停止し、PyTorchに合流するというとても大きなニュースがありました。Newsのセクションでは開発者得居さんの記事や海外での反応を掲載しています。個人的に思うところは、Seriesの記事にまとめました。まずは・・・最後になると思われるChainerアドヴェントカレンダーをみんなで埋めよう!!
Articles:
TabFactは、テーブル情報に基づいた質問回答の研究です。Text2SQLと合流すると、質問=>クエリ=>回答という一連の流れが完成します。海外勢のText2SQL研究は結構盛んで(Microsoft/Salesforce)、確実に自動応答の未来を見据えていると感じます。この論文もTencentから出ています。75 Languages, 1 Modeは、単一モデル/Word Pieceでここまでできるんだなと感じさせられる研究です。ここまでくると、既存の文法解析との合流はあるんだろうか?と思わされます。Deep Double Descentは、過学習の壁問題に対する実験結果のまとめです。ここから、理論解析が進むのかなと思います。
Resources:
事前学習済みモデルをVisionとの組み合わせタスクで用いる研究のまとめ資料は、広範なサーベイになっています。画像/自然言語双方で事前学習が使えるとなると、応用に進む日も早いかなと思います。 fastMRIは、MRIの画像生成を早くしようというチャレンジです。これをきっかけにMRIがそもそもどう撮影されているのかちょっと調べたのですが、思ったより複雑なプロセスでした(興味がある方はこちらを読んでみてください)。これをはじめに応用しようとした人はすごいなと感心します。fastMRIのJupyterでは、そのプロセスを簡易にですが体験することができます。
Series:
XBRLから取得した情報を使った、簡単なクソアプリをつくりました。アプリはクソですが、インフラはかなり本気で作ってます(実務で使うからなんですが)。そして、Chainerの思い出をつづりました。みんなもアドヴェントカレンダーを書こう!(2回目)

News
Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 | 株式会社Preferred Networks
Chainer を振り返って
Soumith Chintala
Super excited to welcome the PFN team to the @PyTorch community. With Chainer, CuPy, Optuna, MNCore, their innovations need no introduction. The community is going to get even more fun! :) https://t.co/WXi1rahHX5
11:24 PM - 5 Dec 2019
[D] Preferred Networks (creators of Chainer) migrating it's research platform to PyTorch from Chainer : MachineLearning
Release TensorFlow 2.1.0-rc0 · tensorflow/tensorflow · GitHub
Articles
[1909.02164] TabFact: A Large-scale Dataset for Table-based Fact Verification
75 Languages, 1 Model: Parsing Universal Dependencies Universally - ACL Anthology
Andreas Kirsch | Better intuition for information theory
Deep Double Descent
Resources
事前学習言語モデルを用いたVision & Languageの動向 / A Survey of Pre-trained Language Models for Vision & Language - Speaker Deck
Eric Jang: Differentiable Path Tracing on the GPU/TPU
Results of the first fastMRI image reconstruction challenge
Series
1 Clickでエグゼクティブになるボタン - Qiita
ありがとう、Chainer。頼むぜPyTorch。 - Qiita
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue