View profile

Weekly Machine Learning #146

Revue
 
News: ノーベル賞が発表された週でした。受賞者のありがたい言葉を胸に、Rejectに立ち向かっていきましょう。TensorFlow 2.0が発表され、PyTorchと使用率比較や速度比較の記事が出
 

piqcy

October 19 · Issue #147 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
ノーベル賞が発表された週でした。受賞者のありがたい言葉を胸に、Rejectに立ち向かっていきましょう。TensorFlow 2.0が発表され、PyTorchと使用率比較速度比較の記事が出てくるようになりました。勢いの面ではPyTorchを追う立場になったTensorFlowですが、今後どういう施策を打ってくるのか注目したいです。
Articles:
Attending to Future Tokens~は、Bi-directionalをDecodeでもやろうという面白い研究です。EncoderはBERTの登場がありしばらく十分になっている印象なので、Decode側をどうするか?にフォーカスが移りそうな予感がします。Answering Complex Open-domain~も面白い研究です。Iterativeに質問を繰り返すことで回答するのは、なぜなぜ分析にちょっと似ていると思いました。Reinforcement LearningやMeta Learningにおけるタスク分解にちょっと近いかもしれません。Datasheets for Datasetsは、データセットの品質、最近では特にバイアスの有無がチェックされる中で重要な示唆を与えている論文と思います。
Resources:
Validation lossがTraining lossより低くなる時があるのはなぜ?の記事はとても面白いです。知識もありますが仮説を立てる能力が問われる質問なので、ちょっと自分なりに考えてからリンク先を開くとよいと思います。「へぇ~確かに」と言いたくなる回答が結構あります。モデルの不確実性に関する記事は、私が見た中ではこの問題について一番わかりやすく解説していると思います。Uberでは結構前から対策を打っていますが、機械学習をサービスで使う際には避けて通れない問題なので、これを機に目を通しておくといいことがあるかもしれません。確率分布の解説記事は、Webサービスにおける実例とセットで解説されていてとても分かりやすいです。多言語QAのデータセットで日本語が省かれるのは寂しいですね・・・(しかも引用した研究では日本語が使われているというのに・・・)。


News
ノーベル賞が発表された週でしたが、医学生理学賞を受賞したラトクリフさんは、まさに受賞した研究でRejectを受けていたそうです(Natureから)。これからAAAIの発表が来ますが、自分の研究に自信を持っていきましょう。
Dr. Sukant Khurana
This is the rejection letter for the work that just won the Nobel Prize.

Believe in yourself.

Everyone else will catch up eventually. https://t.co/gi5Jk1rEzt
The State of Machine Learning Frameworks in 2019
Benchmarking Transformers: PyTorch and TensorFlow - HuggingFace - Medium
Solving Rubik’s Cube with a Robot Hand
Articles
Connections between SVMs, Wasserstein distance and GANs – Alexia Jolicoeur-Martineau
[1908.05915] Attending to Future Tokens For Bidirectional Sequence Generation
Answering Complex Open-domain Questions at Scale
[1803.09010] Datasheets for Datasets
Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
Resources
Why is my validation loss lower than my training loss? - PyImageSearch
Uncertainty Quantification in Deep Learning - inovex-Blog
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌
食べログ3.8問題に終止符を打つ
Annotating Images & Markdown - 🍃tagtog - Medium
GitHub - facebookresearch/MLQA: New dataset
自然言語処理×強化学習の最前線!!強化学習と自然言語処理の最新研究は何を解いている? | AI-SCHOLAR
Causal Diagrams: Draw Your Assumptions Before Your Conclusions | edX
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue