View profile

Weekly Machine Learning #134

Revue
 
News: MicrosoftがOpenAIへの出資を決定。"AGIの開発"という触れ込みですが、いわゆる汎用人工知能ではなく世界の普遍的な問題(という意味でのGeneral)を解決するための人工知能、
 

piqcy

July 26 · Issue #135 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: MicrosoftがOpenAIへの出資を決定。"AGIの開発"という触れ込みですが、いわゆる汎用人工知能ではなく世界の普遍的な問題(という意味でのGeneral)を解決するための人工知能、という印象です。DockerのGPUサポートはうれしいニュースです。CLIについても含んでくれると嬉しいですね。GLUEのベンチマークにはXLNetを超える新たなモデルの影が。ツカザキ病院の取り組みは、日本でもこうした取り組みが行われ世界に出ていることを感じられてとてもうれしいです。
Articles: Probing Neural Network~は、BERTで精度が出ていたのは実はデータに問題があったからと指摘しています。BERTは強力なモデルですが人間を超えるのは相当なので、「BERTが人間越え」をしたときはデータセットの問題を疑ったほうがいいのかもしれません。Robustness beyond Security~は、Adversarial耐性を突き詰めていくと実はより良い表現の獲得に近づくと指摘しています。人間はAdversarialに騙されないわけですから、Adversarialをなくすことが人間に近い視覚的理解につながっていくのは自然な流れと思います。
Resources: State of AI Report 2019は、ここ1年の人工知能関連技術の進化を概観できる資料です。YouTokenToMeはちょっと変わった名前ですが、既存のツールより高速なBPEベースのトークナイズが可能です。日本語や中国語といったマルチバイト文字で特に早いのは朗報です。How To Label Dataは読んでいてちょっと胃が痛くなるようなストーリーですが、データ作成プロジェクトを進めるうえでの注意点がしっかりまとまっています。Uberの発表したEvoGradは個人的に注目しているライブラリです。こうして使いやすいライブラリが出てくれば、どこかで勾配法より全然いい!みたいな事例が出てくる気がします。

News
Microsoft Invests In and Partners with OpenAI to Support Us Building Beneficial AGI
Docker 19.03新機能 (root権限不要化、GPU対応強化、CLIプラグイン…) - nttlabs - Medium
GLUE Benchmark
Kuzushiji Recognition | Kaggle
Tsukazaki Optos Public Project
The Generative Deep Learning Book— The Parrot Has Landed.
Articles
[1904.02632] A Learned Representation for Scalable Vector Graphics
[1811.12104] Towards Human-Friendly Referring Expression Generation
[1907.07355] Probing Neural Network Comprehension of Natural Language Arguments
Robustness beyond Security: Representation Learning – gradient science
[1711.08267] GraphGAN: Graph Representation Learning with Generative Adversarial Nets
Resources
State of AI Report 2019
YouTokenToMe: a tool for quick text tokenization from the VK Team
The Unreasonable Effectiveness Of Neural Machine Translation: A Breakthrough In Temporal Expression Understanding – x.ai
x.aiShare
How To Label Data
Microsoft makes it easier to build popular language representation model BERT at large scale | ブログ | Microsoft Azure
Image segmentation  |  TensorFlow Core  |  TensorFlow
Introducing EvoGrad: A Lightweight Library for Gradient-Based Evolution | Uber Engineering Blog
【点と矢印で因果関係を考える】因果関係がないときにデータから関連が生じるパターンとその対策まとめ:因果ダイアグラム(DAG)によるバイアスの視覚的整理 - Unboundedly
逐次的単語分散表現学習ツールyskipの技術 - Yahoo! JAPAN Tech Blog
モデルの蒸留を実装し freesound2019 コンペで検証してみた。 - かえるのプログラミングブログ
ML_Loft_4_エッジ推論.pdf - Speaker Deck
Making Sense of the Metadata: Clustering 4,000 Stack Overflow tags with BigQuery k-means - Stack Overflow Blog
ICLR/ICML2019読み会 (2019/07/21 13:00〜)
Moving autonomous vehicles forward, together.
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue