View profile

Weekly Machine Learning #93

News: NVIDIAが、機械学習をとりまくプロセス全体をGPU-acceleratedにするプロジェクトを開始しました。特にpandas的な処理で恩恵が受けられるメリットは大きそうです。PFNは、来


October 12 · Issue #93 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: NVIDIAが、機械学習をとりまくプロセス全体をGPU-acceleratedにするプロジェクトを開始しました。特にpandas的な処理で恩恵が受けられるメリットは大きそうです。PFNは、来週に画像系の機械学習プロジェクトで使えるツールをリリースのようです。まだアナウンスの段階ですが、画像系のPoCは大分やりやすくなるのではないかと思います。
Articles: BERTは、自然言語モデルの転移についてまた新しい記録を打ち立てました。OpenAIの手法ELMoのいい所を組み合わせたような形で、各種タスクでSOTAを記録しています。特に、特化した構造なしにQAタスク(SQuAD)のSOTAを更新したのは注目に値すると思います。A Span Selection~はスパン単位でラベルを振るというストレートな課題に取り組んだもので、内容が良いのはもちろん、論文の書き方がとても丁寧です。
Resources: TensorFlow in Anacondaは、TensorFlowのバージョンを上げる=>CUDAのバージョン違い=>バージョンアップ作業!に苦しんでいた方には朗報です。conda install tensorflowだけでこれらの環境をそろえてくれます。holodeckはUnrealベースの強化学習環境で、かなり現実に近い環境を構築できます。実際に実験させるには危ない環境(ビルの高所や空の上など)の学習についても対応ができるようになってきていることを感じます。
Series: Graph Convolutionを検証するために言語モデルのタスクを用意していますが、その過程で発見した課題についてまとめました。

NVIDIA, Open-Source Ecosystem Accelerate Data Science | NVIDIA Blog
Mixed Precision Training for NLP and Speech Recognition with OpenSeq2Seq | NVIDIA Developer Blog
When AI Steers Tractors: How Farmers Are Using Drones And Data To Cut Costs
Preferred Networks releases deep learning-based, high-precision, visual inspection software – Preferred Networks
[1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
[1810.02245] A Span Selection Model for Semantic Role Labeling
Generative Neural Machine Translation · David Barber
[1808.09637] Decoupling Strategy and Generation in Negotiation Dialogues
The Code for Facial Identity in the Primate Brain
[1810.03505] CINIC-10 is not ImageNet or CIFAR-10
[1810.03548] Meta-Learning: A Survey
Reinforcement Learning for Improving Agent Design
Google AI Blog: Open Sourcing Active Question Reformulation with Reinforcement Learning
TensorFlow in Anaconda - Anaconda
GitHub - BYU-PCCL/holodeck: High Fidelity Simulator for Reinforcement Learning and Robotics Research.
Deep Learning Framework Power Scores 2018 – Towards Data Science Explaining and illustrating orthogonal initialization for recurrent neural networks
GitHub - chiphuyen/sotawhat
言語モデルの性能が、実装により異なる件を解決する – programming-soda – Medium
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue