View profile

Weekly Machine Learning #156

Revue
 
News: 自動運転によるドリフト走行は夢があります(余談ですが『ドリキャン!!』は今最高にアツい漫画だと思います。年内に最終回だと思うので冬休み中に一気読みしよう!)。アフリカでのデータ収集コンペティ
 

piqcy

December 27 · Issue #157 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
自動運転によるドリフト走行は夢があります(余談ですが『ドリキャン!!』は今最高にアツい漫画だと思います。年内に最終回だと思うので冬休み中に一気読みしよう!)。アフリカでのデータ収集コンペティションは、とても面白い試みです。低リソースの言語に対して、いかにNLPの恩恵を波及させるかは大きなテーマだと思います。日本語は量はありますがアノテーションデータは決して多くないので、結構同様の課題を抱えていると思います。TensorFlow.jsのWebAssembly版が公開されました。モデルのダウンサイジング技術が進む一方で推論速度はどんどん上がっているので、今まで考えたこともない体験が生み出せる下地ができている気がします・
Articles:
分類の学習を通じて実は生成も学習できる、という研究はかなりエポックメイキングな印象です(考えてみれば当然の気もしますが)。もしかしたらDNNの行きつく先はとてもシンプルでどのタスクでも使えるモデルになるのかもしれません。ただ、この集約は事前学習済みモデルへの集約が背景にあるという見方もできると思います。昔のモデルも同等のデータ量で学習したら実は性能が上、という事態は十分あると思います。その意味では、学習データの量・時間といったレギュレーションを決めないと「真に優れたモデル」は発見されなくなるのではと思います。Continual learning with hypernetworksは最近ちょくちょくみかけるパラメータ生成系のモデルです。モデルを生成するメタネットワーク、大規模分散のFederated Learningは来年はやりそうな雰囲気があります。
Resources:
機械学習モデルにばかりトレーニングをさせてないで、己のトレーニングもやっていこうというのは示唆に富んでいます。論文の読み方のテクニックはとても参考になります。各レベルでBefore/Afterがきちんと定義されていて達成度合いがクリアに測れます。今週は検索の解説記事がとても充実していました。情報検索・検索エンジン Advent Calendarは他にも豊富なノウハウが詰まっているので、ぜひ見てみてください。サッカーのフォーメンション解析はとても面白かったです。今後はチームに数人はデータサイエンティストがついているような感じになるかもしれません。

News
Driving sideways to move forward: Stanford engineers show how an autonomous, drifting DeLorean can improve driver safety
Release Downstream NLP task API (feature extraction, text classification, NER, QA), Command-Line Interface and Serving – models: T5 – community-added models: Japanese & Finnish BERT, PPLM, XLM-R · huggingface/transformers · GitHub
AI4D-African Language Dataset Challenge - Zindi
WebAssembly版のTensorFlow.jsが登場、Webブラウザでの推論処理を10倍以上高速に実行 - Publickey
Articles
Your classifier is secretly an energy based model and you should treat it like one | OpenReview
XLM-R: State-of-the-art cross-lingual understanding through self-supervision
Cophy: Counterfactual Learning of Physical Dynamics
[1906.00695] Continual learning with hypernetworks
UMAP does not preserve global structure any better than t-SNE when using the same initialization | bioRxiv
[1912.08866] Continuous Meta-Learning without Tasks
[1912.10985] BackPACK: Packing more into backprop
Resources
機械学習で学習中にログをぼーっと見てしまうあなたに 〜 LightGBMで筋トレする 〜 - Qiita
How to Read a Paper
ベクトル検索(近似最近傍探索)でいい感じの MoreLikeThis を実現する - moco(beta)’s backup 2nd - Medium
検索体験を向上する Query Understanding とは | リクルートテクノロジーズ メンバーズブログ
YouTubeの推薦アルゴリズムの変遷を追う〜深層学習から強化学習まで〜 - Eureka Engineering - Medium
Using Data to Analyse Team Formations
Welcome to nbdev | nbdev
DeNA AI研究開発エンジニアによる「ICCV 2019 論文紹介 (26 papers)」を公開しました | DeNA×AI
VariationalでEnd2EndなDialogue Response Generationの世界 - 終末 A.I.
Speed Up Your Exploratory Data Analysis With Pandas-Profiling
How to analyse 100s of GBs of data on your laptop with Python
Airflow と SageMaker で構築する推論パイプライン · DeNA Engineers' Blog
GitHub - cantaro86/Financial-Models-Numerical-Methods: Collection of notebooks about quantitative finance, with interactive python code.
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue