View profile

Weekly Machine Learning #141

News: PyTorchオフィシャルで、ベイズ最適化を行うライブラリが登場しました。個人的にはベイズ型の逆強化学習とかやりやすくなるなと感じました。MultiFCはファクトチェックを行うためのデータセ


September 14 · Issue #142 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News: PyTorchオフィシャルで、ベイズ最適化を行うライブラリが登場しました。個人的にはベイズ型の逆強化学習とかやりやすくなるなと感じました。MultiFCはファクトチェックを行うためのデータセットです。こうしたデータセットが作れるリソースがあるというのがまずうらやましいと感じました(日本でファクトチェックを行っているところって聞いたことがあまりないので・・・)。LinkedInの判例は今後が気になる事例です。これがデファクトになるなら、ログインなしで公開されている情報は取得OKになるかも?(あくまで米国においてですが)
Articles: nlpaper.challengeがあったため自然言語処理の論文が多めです。CTRLはコントロール可能な事前学習モデルで、応用の幅がいろいろありそうです。こんなことができるなら既存のタスクは全部言語モデルである程度解けちゃうんじゃないの?という気がしないでもないです。Misspelling Oblivious Word Embeddingsは、ミススペルの分散表現を得るために愚直にミススペルの辞書(教師データ)を使ったという研究です。単にミススペルだけでなく、他の用途にも使えそうです(何らかの辞書データで分散表現を強化するという面で)。Using a Logarithmic Mapping~は強化学習における割引率の謎に迫った論文で、個人的にはよく出してくれた!と言いたくなる一本です。
Resources: Evolution Strategiesの解説はとても分かりやすいです。Lilさんはこれまでも素晴らしいまとめ記事をたくさん書かれているので、ブログ自体をチェックしておいた方がいいと思います。sumgramはとても興味深い手法です。教師なしでざっくり固有表現を得るには便利な手法ではないかなと思います。実際いちいち固有表現認識モデルを学習するのも大変ですしね。ゲームにおける強化学習の事例はとても面白いです。いろんな日本語タイトルが出てくるので、このゲームで使ってたんだという発見があります。

GitHub - pytorch/botorch: Bayesian optimization in PyTorch
MultiFC: A Real-World Multi-Domain Dataset for Evidence-Based Fact Checking of Claims | CopeNLU
GitHub - rlworkgroup/metaworld: An open source robotics benchmark for meta- and multi-task reinforcement learning
リンクトインの「スクレイピング」は合法、米裁判所が判断 | Forbes JAPAN(フォーブス ジャパン)
GitHub - salesforce/ctrl: Conditional Transformer Language Model for Controllable Generation
[1909.02480] FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow
[1905.09755] Misspelling Oblivious Word Embeddings
[1909.03186] On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
[1909.03341] Neural Machine Translation with Byte-Level Subwords
[1909.01492] Achieving Verified Robustness to Symbol Substitutions via Interval Bound Propagation
[1908.06177] CLUTRR: A Diagnostic Benchmark for Inductive Reasoning from Text
[1905.12255] Stay on the Path: Instruction Fidelity in Vision-and-Language Navigation
[1906.02890] Visually Grounded Neural Syntax Acquisition
[1906.02549] Weakly-Supervised Spatio-Temporally Grounding Natural Sentence in Video
Self-Supervised Neural Machine Translation - ACL Anthology
[1906.01199] Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
[1906.00572] Using a Logarithmic Mapping to Enable Lower Discount Factors in Reinforcement Learning
Evolution Strategies
GitHub - astooke/rlpyt: Reinforcement Learning in PyTorch
GitHub - deepset-ai/FARM: Fast & easy NLP transfer learning for the industry. Harvesting models for practical use cases.
実践!固有表現認識 ~Flairを使って最先端の固有表現認識を体験しよう~ - Ahogrammer
Web Science and Digital Libraries Research Group: 2019-09-09: Introducing sumgram, a tool for generating the most frequent conjoined ngrams
CEDEC2019: ゲームと機械学習の最前線 〜現状と未来を正しく捉えるために〜 - Speaker Deck
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue