View profile

Weekly Machine Learning #118

Revue
 
News: 新元号が発表された週でしたが、自然言語界でもうれしいニュースが飛び込んできました。リクルートと国立国語研究所から、Universal Dependencyに基づいた係り受け解析が可能なライブ
 

piqcy

April 6 · Issue #119 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: 新元号が発表された週でしたが、自然言語界でもうれしいニュースが飛び込んできました。リクルートと国立国語研究所から、Universal Dependencyに基づいた係り受け解析が可能なライブラリGiNZAが公開されました!今までcabochaでは関係がわからない、KNPはちょっと遅い、といろいろ問題があったところですが、spaCyベースという共通+モダンな形で解析が可能になりました。これは大きな一歩だと思います。
Articles: ELDENは関係認識における、シンプルかつ強力なUnsupervised Dataの活用といった印象でとても良いです。Guided Meta-Policy Searchはメタラーニングの効率を上げるためにメタ学習を模倣学習でブーストするという研究で、とても実用を意識しているなという印象です(Berkeleyの強化学習研究は全体的にそんな印象がありますが)。画像、自然言語処理、と転移学習の波はどんどん来ていますが、強化学習に来るのもそんなに遠くない印象です。そう遠くないうちにStarCraftとDota2双方で無双するというような手法が出てきてもおかしくないかなと思います。
Resources: 今週は、ハイパーパラメーターチューニングと因果推論の記事がお勧めです。ハイパーパラメーターチューニングは、もうデフォルトで使うツールの一つになっていくなという印象です。Optunaやhyperoptなど、何かしらひとつは使えるようになっておいた方がよさそうです。金出先生の資料は、機械学習の研究におけるテーマ設計・出口設計の参考になります。前回のAIブームが終焉した理由についての分析は、示唆に富んでいます。
Series: 今週は、nlpaper.challengeがあったのでその資料を作ってました。物体検出の章についてまとめております。

News
リクルートのAI研究機関、国立国語研究所との共同研究成果を用いた日本語の自然言語処理ライブラリ「GiNZA」を公開 | Recruit - リクルートグループ
BERT日本語Pretrainedモデル - KUROHASHI-KAWAHARA LAB
CS 224N | Home
Jigsaw Unintended Bias in Toxicity Classification | Kaggle
Open-sourcing PyTorch-BigGraph for faster embeddings of extremely large graphs
Articles
HOLOGAN: UNSUPERVISED LEARNING OF 3D REPRESENTATIONS FROM NATURAL IMAGES
On the causality view of <Context-Aware Learning for Neural Machine Translation> - Kyunghyun Cho
ELDEN: Improved Entity Linking using Densified Knowledge Graphs
Guided Meta-Policy Search
[1812.05069] Recent Advances in Autoencoder-Based Representation Learning
Resources
Kaggleに登録したら次にやること ~ これだけやれば十分闘える!Titanicの先へ行く入門 10 Kernel ~ - Qiita
勾配ブースティングで大事なパラメータの気持ち - nykergoto’s blog
GitHub - pfnet-research/autogbt-alt: An experimental Python package that reimplements AutoGBT using LightGBM and Optuna.
Amazon SageMaker で Optuna を用いたハイパーパラメータ最適化を実装する | Amazon Web Services ブログ
Neural Machine Translation With Attention Mechanism - Machine Talk
Causal inference and the data-fusion problem | PNAS
傾向スコアと機械学習とprobability calibrationの話 - rmizutaの日記
Towards Robust and Verified AI: Specification Testing, Robust Training, and Formal Verification | DeepMind
Mathematical Foundations of Data Sciences
「定着型成長エンジン」を加速させるために、機能ごとのMAUと継続率をみよう - StackOverflowの一般公開データをBigQueryで分析 | Wantedly Engineer Blog
GitHub - kheyer/Genomic-ULMFiT: ULMFiT for Genomic Sequence Data
役にたちインパクトのある実世界AIを
Series
nlpaper.challenge NLP/CV交流勉強会 画像認識 7章
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue