View profile

Weekly Machine Learning #107

Revue
 
News: 今週最大のニュースは、なんといってもあのHinton先生がTwitterに降臨されたことでしょう。タイムライン上では何番目にフォロワーになれたかで盛り上がるような状況でした。BERTの日本語
 

piqcy

January 18 · Issue #108 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: 今週最大のニュースは、なんといってもあのHinton先生がTwitterに降臨されたことでしょう。タイムライン上では何番目にフォロワーになれたかで盛り上がるような状況でした。BERTの日本語モデルの提供は、日本語における自然言語の活用において大きな一歩だと思います。こうした活動が有志で行われたのはとても嬉しいことですが、企業がやらなかったことについてはちょっと忸怩たる思いがあります。学会などへのスポンサー費用も大切ですが、こうした実のある貢献の方が重要と思います。とりあえずみんな感謝の投げ銭を行いましょう!
Articles: Auto-DeepLabは、セグメンテーションのタスクでネットワーク構造の自動探索を行った研究です。Abstractを読んだ印象ではまた大量のGPUを使ったのかなと思いきや、3GPU dayで驚きました。ネットワーク構造の自動探索は"Towards Automatically-Tuned Neural Networks“で提案された"Auto-Net"が初出?と思うのですが、これが2016年ですね。そこからリソース、精度共に大幅に改善され、はてはAuto-MLのような商用サービスが出るに至るとはという感じです。あと数年で機械学習エンジニア/データサイエンティストに求められる役割はガラッと変わるかもしれません。Human few-shot~は人間の学習方法を調べたフィールドワークといった感じです。NLPでは、一旦モデルから離れてこうした調査を行う必要があるかなとは個人的にも感じます。
Resources: フーリエ変換の記事は、音声をやってみたいなという方にとってはとても良い記事です(画像などに使われることもありますが)。Evaluating Text Output in NLP~は、翻訳の手法で使われているBLEUについて、というより自然言語における評価メトリクス全般についての主要な論点が紹介されているとても良い記事です。How I went to Somaliland ~は旅するエンジニアという趣で、こうして旅行しつつ現地の勉強会に登壇して、というのは結構面白いなと思いました。
Series: 今週、とうとう執筆していた強化学習本が発売されたためそれについて書いております。興味を持たれた方は、ぜひ手に取っていただければと思います!

News
Geoffrey Hinton (@geoffreyhinton) | Twitter
BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました – 原理的には可能 – データ分析界隈の人のブログ、もとい雑記帳
TensorFlow Lite Now Faster with Mobile GPUs (Developer Preview)
Deep Learning and Reinforcement Learning Summer School 2019
Articles
[1901.02985] Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Named Entity Recognition With Parallel Recurrent Neural Networks
[1809.10460] Sample Efficient Adaptive Text-to-Speech
google-research/dql_grasping at master · google-research/google-research · GitHub
[1901.02860] Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples
[1901.04587] Human few-shot learning of compositional instructions
Figure 1 より。左: 単語の法則。こちらを教えた後に、右:回答結果
Figure 1 より。左: 単語の法則。こちらを教えた後に、右:回答結果
Resources
An Interactive Introduction to Fourier Transforms
Interpretable Machine Learning
Evaluating Text Output in NLP: BLEU at your own risk
Implementing a Natural Language Classifier in iOS with Keras + Core ML
You don't know JAX
AMI Residency Part 1 : Exploring (word) space, projecting meaning onto noise, learnt vs human bias.
The TAC Relation Extraction Dataset
Text Annotation on a Budget with Azure Web Apps & Doccano
Rumors of ML | Revue
How I went to Somaliland and… Taught Artificial Intelligence
Series
Pythonで学ぶ強化学習 -入門から実践まで-を書きました – programming-soda – Medium
GitHub - icoxfog417/baby-steps-of-rl-ja: Pythonで学ぶ強化学習 -入門から実践まで- サンプルコード
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue