View profile

Weekly Machine Learning #101

News: PyTorch 1.0のリリースをはじめ、今週はライブラリのリリースが多かったです。PFNからハイパーパラメーターチューニング、DeNAからYOLOv3、Googleからランキング学習のライ


December 8 · Issue #101 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: PyTorch 1.0のリリースをはじめ、今週はライブラリのリリースが多かったです。PFNからハイパーパラメーターチューニング、DeNAからYOLOv3、Googleからランキング学習のライブラリが公開されました。Amazonもチップ開発に参戦し、ハード面でもシェア争いが広がってきそうです。
Articles: Dataset Distillationは、とても面白い試みです。その名の通り既存のデータセットから学習効果の高いデータを作成する試みで、うまくいけばハードウェアに頼らず学習時間を短くできるかもしれません。IntroVAEは外部のDiscriminatorではなく内部に競合するlossを組み込んだような形で、他の学習にも応用できそうです。Sanity Checks~は結構衝撃的な結果で、画像認識モデルの説明方法に影響を与えそうです。
Resources: 機械学習モデル構築プロセスの自動化についての記事は、とてもよくまとまっています。今後確実に進んで行く分野なので、いわゆるAIエンジニアも生存戦略を考える時期に来ているのではと思います。AI×医用画像はとても力の入った資料で、近年盛んな医療への応用を概観することができます。ContainerDaysの資料は、これから機械学習インフラを構築するために欠かせないツールとなってきているKubernetesについて、良い導入資料となっています。
Series: テキスト分類編のPart3では、Graph Convolutionを利用したテキスト分類を実装しました。結果はまず小手調べという感じで、詳細な分析は次回になります。

PyTorch developer ecosystem expands, 1.0 stable release now available - Facebook Code
AWSが新しい機械学習チップInferentiaを発表 – TechCrunch Japan
From Research ToProduction
ハイパーパラメータ自動最適化ツール「Optuna」公開 | Preferred Research
Google AI Blog: TF-Ranking: A Scalable TensorFlow Library for Learning-to-Rank
GitHub - DeNA/PyTorch_YOLOv3: Implementation of YOLOv3 in PyTorch
Release v0.7.2 · allenai/allennlp · GitHub
Announcing ML.NET 0.8 – Machine Learning for .NET | .NET Blog
[1811.10959] Dataset Distillation
[1807.06358] IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesis
[1811.11718] Partial Convolution based Padding
[1811.11553] Strike (with) a Pose: Neural Networks Are Easily Fooled by Strange Poses of Familiar Objects
Sanity Checks for Saliency Maps
[1808.00191] Graph R-CNN for Scene Graph Generation
GitHub - NVIDIA/vid2vid: Pytorch implementation of our method for high-resolution (e.g. 2048x1024) photorealistic video-to-video translation.
A Retrieve-and-Edit Framework for Predicting Structured Outputs
A Survey on Recent Advances in Named Entity Recognition from Deep Learning models - ACL Anthology
[1806.03335] Randomized Prior Functions for Deep Reinforcement Learning
その機械学習プロセス、自動化できませんか? - Qiita
AI×医用画像の現状と可能性 - Speaker Deck
BERT with SentencePiece で日本語専用の pre-trained モデルを学習し、それを基にタスクを解く - クックパッド開発者ブログ
ニューラル文章要約モデルの紹介 - エムスリーテックブログ
[DL Hacks]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
日本初の競技機械学習大会 Cpaw AI Competition の運営 / About Cpaw AI Competition in Kaggle Meetup Tokyo - Speaker Deck
Visual Model-Based Reinforcement Learning as a Path towards Generalist Robots – The Berkeley Artificial Intelligence Research Blog
GitHub - asashiho/ContainerDays1812
GitHub - icoxfog417/acl-anthology: Script to get ACL Anthology
Graph Convolutionで自然言語処理を行う(テキスト分類編) Part3 – programming-soda – Medium
COUNT DOWN JAPANにおける、アーティストのタイムテーブルを予測する(前編) – programming-soda – Medium
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue