View profile

Weekly Machine Learning #131

News: XLNetのコストは、なかなかに考えさせられる話です。多くの学習時間を要するモデルは一部の企業にしか作れず、他はそれを事前学習済みモデルとして使うしかない、という状態になるのではと感じます。


July 5 · Issue #132 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: XLNetのコストは、なかなかに考えさせられる話です。多くの学習時間を要するモデルは一部の企業にしか作れず、他はそれを事前学習済みモデルとして使うしかない、という状態になるのではと感じます。この場合、ResourceのWhere We See Shapes~にもありますが、事前学習済みモデル内にバイアスがあった場合にあっという間に広まってしまう気がします。今週の日本語固有表現は、GSDのライセンス交渉、NC条項のないPUDでのモデル構築、双方に進展がありました。
Articles: 失われた言語の解読を試みたNeural Decipherment~は、動機だけでなく手法面も興味深いです。根は同じだけれども分化した言語体系(高校生語など?)の推定にも使えるのではないかという気がします。Benchmarking Model-Based~は、近年注目を集めているモデルベースの手法を統一的な環境で評価した研究となっています。Predictive Uncertainty~は問題設定がとても綺麗で、機械学習における不確実性の問題に取り組むなら良い出発点ではないかと思います。
Resources: Material DesignのData Visualizationに関するガイドラインは、可視化に使うグラフ/色を選択する上で参考になりそうです。「説明可能AI」の記事は、研究面だけでなく社会面の動向についてもまとめられており、説明力の現状をうかがい知ることができます。Anchor Boxesは結構目から鱗の記事です。精度が出ないとモデルのチューニングにいきがちですが、こうした設定のみで精度をあげられることもありそうです。

James Bradbury
@eturner303 512 TPU chips is 128 TPU devices, or $61,440 for 2.5 days. The authors could also have meant 512 cores, which is 64 devices or $30,720.
2:56 PM - 25 Jun 2019
BERTを超えたと話題になったXLNetのコストについての話。論文中では"512 TPU v3 chips"で2.5 daysと言及されている。1TPUは4chipsで構成されるので128TPUを2.5days=$61,440ほどになるとの試算(660万ほど)。一発で上手くいったはずはないと思うので実態はさらに上と思われる
Faces for cookware: data collection industry flourishes as China pursues AI ambitions - Reuters
Facebook open-sources DLRM, a deep learning recommendation model | VentureBeat
About the CC BY-"NC"-SA LICENSE · Issue #14 · UniversalDependencies/UD_Japanese-GSD · GitHub
cleverhans/tutorials/future/jax at master · tensorflow/cleverhans · GitHub
[1906.12320] PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows
[1906.04341] What Does BERT Look At? An Analysis of BERT's Attention
[1906.06718] Neural Decipherment via Minimum-Cost Flow: from Ugaritic to Linear B
[1906.11883] Unsupervised Learning of Object Keypoints for Perception and Control
[1907.02057] Benchmarking Model-Based Reinforcement Learning
Searching for A Robust Neural Architecture in Four GPU Hours | Xuanyi Dong
[1802.10501] Predictive Uncertainty Estimation via Prior Networks
Data visualization - Material Design
【記事更新】私のブックマーク「説明可能AI」(Explainable AI) – 人工知能学会 (The Japanese Society for Artificial Intelligence)
GitHub - keiohta/tf2rl: TensorFlow2.0 Reinforcement Learning
Where We See Shapes, AI Sees Textures | Quanta Magazine
Brno Mobile OCR Dataset
Anchor Boxes — The key to quality object detection - Anders Christiansen - Medium
本気で自然言語処理やらないエンジニアでもできる、イベントアンケートの意見抽出 - OPTiM TECH BLOG
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue