View profile

Weekly Machine Learning #208

Weekly Machine Learning #208
By piqcy • Issue #209 • View online
News:
Element AIが買収されるとのことです。研究と事業化は異なる専門スキルなので、トップ研究者と双璧を成す事業家がいれば結果は違ったのかなと感じます(そんなことは100も承知だと思うので、背景の事情はいろいろあると思いますが)。LSTM x 強化学習からはや10年。そういわれると、手法面での進化はあんまり起こってないのかもしれません。研究をしていると「手法」の改善に着目しがちですが、他の技術進化に目を向けると別観点の発明ができるかもしれません(画像分野ならカメラやセンサー、自然言語だとクローリング技術など?)。
Articles:
日本語のゼロ照応・共参照をBERT+マルチタスクで解く研究を紹介しています。母国語で自然言語の技術が発展するのはうれしいものです。しかし自然言語処理をしていると人間の理解度に舌を巻きますね。読み・書きいずれも少量データで高精度になるという。圧縮/解凍も人間に最適化されています。自然言語処理ではどんなにわかりやすい本を入力しても大量に読まなければ理解できませんが、人間なら1冊読めばある程度理解できます。未だこの点には彼我の差があると感じます。強化学習の内発報酬はそれ自体が心理学由来なので、人間の行動と相関があるのはある意味当たり前だと思います。そこを改めて確認した意義はある・・・と思います。
Resources:
機械学習処理もサーバーレスで組めるようになってきました。こうなるともうエンジニアリングのテリトリーと思います。MLOpsのパターンはいくつか見たことがありますが、どれも新規性を感じることはありませんでした。データ/モデルの扱いなど若干特殊な点はありますが、必要なジョブパラメーターと実行履歴管理は古来から培われてきた技術です。いずれDevOpsに飲み込まれるのではと思います。バイオベンチャーの事例はかなり生々しいですね。ElementAIではないですが、技術一本では難しいことをまざまざと感じます(ただ技術が重要であることに変わりはない)。pandasGUIはなかなか便利そうです。デモにも使えそうですね。

News
[N] Montreal-based Element AI sold for $230-million as founders saw value mostly wiped out : MachineLearning
2010: First Journal Paper on Deep Reinforcement Learning with Policy Gradients for Long Short-Term Memory (LSTM)
Papers with Code Newsletter #1 | Papers With Code
Articles
BERT-based Cohesion Analysis of Japanese Texts - ACL Anthology
Resources
動的転置インデックス — 増分インデックスの保守と更新性能&検索性能のトレードオフ | by mocobeta | Dec, 2020 | Medium
Reengineering Facebook AI’s deep learning platforms for interoperability
GitHub - adamerose/PandasGUI: A GUI for Pandas DataFrames
GitHub - jsvine/pdfplumber: Plumb a PDF for detailed information about each char, rectangle, line, et cetera — and easily extract text and tables.
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
piqcy
By piqcy

make machine learning engineer and researcher more cheerful

You can manage your subscription here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue