View profile

Weekly Machine Learning #158

Revue
 
News: Uberの内部で使用されているモデル検証のツールManifoldがオープンソースで公開されました。TensorFlow Model Analysisをはじめ、Jupyterで直接使える分析ツ
 

piqcy

January 10 · Issue #159 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
Uberの内部で使用されているモデル検証のツールManifoldがオープンソースで公開されました。TensorFlow Model Analysisをはじめ、Jupyterで直接使える分析ツールが増えてきています。そんなTensorFlowの2.1がリリース。ようやくパッケージレベルでgpu/cpuを切りかえずにすむようになりました。そして、Python2をサポートする最後のリリースになります。2019年の振り返り/2020の見込みの記事はまだまだ出ています。fastTextの日本語Wikipediaベクトルが壊れているのは要注意です。
Articles:
対話中の感情をGraph Convolutionで検出する研究では大きく精度が上がっています。こんなに上がるかな・・・という気がするので同様の研究が出てこないかと待ってます。ELECTRAは事前学習の手法を変えることでBERT/RoBERTa越えの精度と効率を達成した研究です。2020年もしばらくはこうした研究が散発的にでて、年末にはベストな方法に落ち着くのかなと感じます。ネットワークの代わりに学習法をいじっている感じですね。Graph Convolutionはなぜ層を重ねるとうまくいかないか?を解析した研究は出色の出来だと思います(他に掲載しているICLR採択論文は今のところいまいちな印象です)。
Resources:
Complex Analysisは、数式ではわかりにくい理論を視覚的に解説してくれる本(サイト)です。技術の進歩によって、今までとっつきにくかった分野もこうして学べるようになるのは素晴らしいことだと思います。Kubeflowの検証記事は力作です。別記事でMLflowの導入方法も紹介されているので、新年機械学習パイプラインを導入されたい方はチェックしてみてください。
Series:
現在取り組んでいる金融x自然言語処理についてざっくりと論文をまとめました。

News
Open Sourcing Manifold, a Visual Debugging Tool for Machine Learning | Uber Engineering Blog
Release TensorFlow 2.1.0 · tensorflow/tensorflow · GitHub
Stanford CS 224N | Natural Language Processing with Deep Learning
NLP Year in Review — 2019 - dair.ai - Medium
10 ML & NLP Research Highlights of 2019
Happy AI New Year! Global Researchers Reflect on 2019, Talk Trends for 2020
China’s Financial Services Industry Is Banking on AI
Python in Visual Studio Code – January 2020 Release | Python
Japanese Model · Issue #3756 · explosion/spaCy · GitHub
Problem with Japanese Wikipedia embeddings · Issue #710 · facebookresearch/fastText · GitHub
Articles
[1804.02391] Learn To Pay Attention
[2001.00179] DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
[1908.11540] DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation
Generalization through Memorization: Nearest Neighbor Language Models | OpenReview
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators | OpenReview
[2001.01683] Improving Deep Neuroevolution via Deep Innovation Protection
RTFM: Generalising to New Environment Dynamics via Reading | OpenReview
Distributionally Robust Neural Networks | OpenReview
【ICLR2020採択論文】グラフニューラルネットワークは頂点識別問題のための「情報」を指数的に失う | Preferred Networks Research & Development
Resources
Complex Analysis
A Visual Analysis Tool to Explore Learned Representations in Transformers Models
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
[DL輪読会]Grandmaster level in StarCraft II using multi-agent reinforcement learning
BERT入門
Series
GitHub - icoxfog417/awesome-financial-nlp: Researches for Natural Language Processing for Financial Domain
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue