piqcy
make machine learning engineer and researcher more cheerful
subscribers
issues
Weekly Machine Learning #250
News:Kaggleが機械学習エンジニア・データサイエンティスト向けにとっていたアンケートが公開されました。各国ごと・・・というか、USか否かで結構回答内容に差があるのは興味深いです。プログラマーがデータサイエンスを始めるルートが、先進国?では多いのかもしれないですね。View2021は産業応用についてたくさん事例が聞けるチャンス！と思います。Articles:事前学習済み言語モデルを利用した教師なし翻訳は興味深いです。翻訳以外のタスクでも教師なし学習が広まるかもしれませんね。分類はもとより、QAや要約などはタ…
Weekly Machine Learning #249
News:Googleからフェデレーションラーニングをシミュレートできるライブラリが公開されました。プライバシーの観点からも注目されている研究分野で、OSS公開により研究が進むのではないかと思います。ガートナーから2021年のハイプサイクルが公開されました。チャットボットや自動運転が幻滅期に入っています。個人的には幻滅というより現実的になってきた、期待値と実際できることのずれがなくなってきた印象です。Articles:Transformerが強いのではなくパッチ入力が強いのでは?この疑問を投げかけている論文は要チ…
Weekly Machine Learning #248
News:11月最終週は自然言語処理尽くしの一週間になりそうです。11/29・11/30に対話システムシンポジウム、続く12/1、12/2に音声言語・自然言語処理シンポジウムが開催です。自動作曲できるDAWは要チェックです。DAWはDigital Audio Workstationの略で、端的には作曲ツールです。今まで高かった作曲のハードルも、機械学習の力でだんだん下がってきていますね。音楽好きにはうれしい限りです。Articles:乱数シードに画像認識モデルの精度がどれだけ左右されるか調べた研究は要チェックです…
Weekly Machine Learning #247
News:医療文書に対する固有表現認識のシェアードタスクが公開されました。少量データでの学習やTable2Textなど、実応用につながるタスクが提示されているので興味がある方はぜひ。KaggleでNotebookの自動実行ができるようになったのは注目です。数に制限はありますが、気軽にPythonスクリプトを定期実行できるプラットフォームとしてあり難いですね。Articles:Pix2seqはシンプルな物体検出の解き方を提示しています。このまま精度が上がったらパラダイムシフトになりますね。OpenAIの長文要約は久…
Weekly Machine Learning #246
News:9/20に対話知能学のシンポジウムが開催されます。巷で話題のエアフレンドで精度に驚かされた方は、参加すると裏側の仕組みに触れられるかもしれません。テキストレスのNLPは驚きました、大規模な音声コーパスがあれば、音声から言語構造を復元できるかもしれませんね。テキスト情報がない言語への応用に使えそうです。IOSCOのガイドラインは、機械学習モデルがガバナンスの対象に入りつつあることを感じさせられます。Articles:言語モデルの無毒化は要チェックです。Toxic(有毒)な情報を抑制するとそもそも話題に触れ…
Weekly Machine Learning #254
News:Data Centric AIのワークショップがNeurIPS2021で開催。どんな論文が集まるのか楽しみです。機械学習の構造転換ポイントになるかもしれません。arXivの新機能、皆さん使ったことあるでしょうか?arXivLabsでは論文の引用グラフや関連論文の一覧表示といった機能を開発中です。arXivに関連するコミュニティ活動やツールの投稿なども受け付けているようです。Articles:Sensory Neuronは入力情報に頑健な強化学習を目指した研究です。人間なら画像情報と音声情報で受け取る順番…
Weekly Machine Learning #244
News:AllenNLPのハッカソンが開催されます！メンターからサポートを受けたりワークショップに参加するなど、触れてみるにはよい機会です。ただ日本時間だと深夜開始なので要注意です。Direct Reliefのデータ活用事例記事を紹介しています。新型コロナ対策しかり、災害対策にデータが活用される流れが来るとよいですね。Articles:マルチモーダル情報を用い、PDFのような文書画像を理解する研究を紹介しています。仕事でPDFのパースに悩まされているので、Transformerが文書画像の解析でも腕を振るってく…
Weekly Machine Learning #243
News:GiNZAのv5.0が公開されました。待望のspaCy3.0対応が入っています。Transformer(ELECTRA)による高性能化も要チェックです。数学教育に機械学習を活かす試みは面白いです。数学嫌い克服の決め手になるか注目です。Pickup:Articles/Resourceで取り上げた記事の中から、これは深堀したい！というものをPickupとして取り上げました。書きぶりはNg先生のTHE BATCHをまねています。今回取り上げたのは、#240で紹介した、イギリスのAlan Turing Inst…
Weekly Machine Learning #242
News:arXivが30周年を迎えました。今ではなくてはならないプラットフォームになりましたね。最初期のarXivホストマシンは時代を感じさせられる一品です。現在のアーキテクチャーからすると隔世の感があります。Lacuna Fundの取り組みは非常に意義があると思います。Resourceで述べますが、まさにバイアスを減らすためのData Centricなアプローチだと思います。Articles:転移学習時代のパラダイムに欠かせない事前学習済みモデル=Foundation Modelについて大作のサーベイが発表さ…
Weekly Machine Learning #241
News:cvpaper.challengeのカンファレンスが開催されます。論文サーベイの取り組みから招待講演を含むカンファレンスを開催するまでに拡大したのは感慨深いです。nlpaper.challengeもACL2021の論文読みを進めているので、興味ある方はぜひ！NeurIPS 2021でも気候変動のワークショップが開催されます。ぜひ関心を持ってほしいなと思っているので、ICMLに続き論文を紹介していく予定です。Articles:ACL2021の論文を読み始めたので紹介しています。要約の事実一致を高める研究で…
Weekly Machine Learning #240
News:Alan Turing Instituteのレポートを解説した記事は非常に重いですね。レポートを読んでいくと、機械学習エンジニアに一番必要なのはコミュニケーションを取るマインドなのではと感じます。マインドとは、マイノリティへの配慮、非エンジニアへの真摯な態度などです。自分自身おろそかにしがちなので自戒を込めて。。。ICML論文読み会は8/18開催です。個人的には気候変動とか面白いワークショップもあったのでその辺もフォーカスしてもらえたらうれしいです。Articles:Prompt Learningのサー…
Weekly Machine Learning #239
News:2021年のAIトレンド記事が公開されました。MLOpsやセキュリティなど、肌で感じるトレンドが多いです。一つの記事でまとめて読めるのはお得だと思います。MuJoCoの無償ライセンスが2021/10/31まで提供されています。連続値コントロールの強化学習ではよく使われるツールなので、これを機にという方はぜひ！Articles:自然言語処理でのFew-shot learningを評価するベンチマークを紹介しています。Few-shot、転移学習、マルチタスク学習、事前学習モデル活用、これらは境界があいまいで…
Weekly Machine Learning #238
News:衛星画像から違法操業を検出するコンペティションが開催されました。日本だと耳にすることが多いニュース。漁業資源の確保に立ち上がる機械学習エンジニア求む！という感じですね。Hugging Faceが言語モデルの学習を複数台の端末で行いました。今後豊富な計算資源のない国が、自分たち自身の端末で学習するには必要な技術だと思います。Articles:ICML2021にからめた気候変動関連シリーズで、建物のデータセット収集の研究を掲載しています。この研究は、建物のサステナビリティ評価を行うことに繋がっています。気候…
Weekly Machine Learning #237
News:Berkeleyから、人の評価を使用した強化学習のタスクが公開されました。MineRLとは姉妹コンペティションになるそうです。強化学習用に設計された/強化学習に向いたベンチマークではなく、人間のフィードバックから学習するタスクということで実応用のシチュエーションに近くなっていると感じます。そしてタンパク質構造予測でトップを取ったAlphaFold-v2のモデルが公開されました。コードとモデルの重みでライセンスを分けるという珍しい形態をとっています。ただ、素朴にこの方が公開しやすそうだなと思います。Art…
Weekly Machine Learning #236
News:機械学習についてわかりやすくかつ深い解説を公開していたDistillが休止期間に入るとのアナウンス。Distillの記事は何度となく読んだことがあったので残念です。ボランティアベースの運営でかなり負荷が高かったのではないかと想像します。査読の在り方を考えさせられる内容でした。ICMLで気候変動への機械学習適用に関するワークショップが開催されます。これに合わせ、今後気候変動x機械学習の研究をいくらかピックアップしていこうかと思います。Articles:メタンガスを排出している施設を特定する研究をピックアッ…
Weekly Machine Learning #235
News:GitHubからコード補完を超えコード生成を行うCopilotがリリースされました。OpenAIとの合作になります。ResourceにはGitHub自身が挙動の解析を行った記事を紹介しています。テストコードを書いて実装を生成させるなど、今後のプログラミングパラダイムにも影響を与える機能になるかもしれません。Articles:自然言語処理モデルの予測を説明する研究を掲載しています。予測しなかった選択と比較して説明する視点は新しいと思います。意思決定を行う際は各案のメリット・デメリットを上げるのが通例なので…
Weekly Machine Learning #234
News:MLOpsの勉強会が開催されます！Sansan株式会社、Unipos、エムスリー株式会社、3社合同でクイズ企画もあるという楽しく学びのあるイベントです。興味ある方はぜひ！PyCon JP2021のトーク募集も開始しました。ベテランPythonエンジニアしか発表できないというわけではなく、入門者の方でも「Pythonに関する知識を共有する」発表であれば応募可能です。Articles:コードを修正する研究は興味深いです。①実際の悪いコード例をfix→②criticで判定、OKならbad/goodのペアとして…
Weekly Machine Learning #233
News:マインクラフトでダイヤモンドを発掘するコンペティションが開催されます。余談ですが、「よいこのマイクラ」はとても面白いですね。ダイヤモンドが自動的に取れると濱口さんの苦労も軽くなりそうです。データ中心のコンペティションはとても面白いです。モデルを磨くよりデータを磨く方が、ドメイン知識が洗練されてより速く目的のモデルにたどり着けそうです。Articles:不均衡データを扱う際に目的関数を工夫する研究を取り上げています。目的関数のチューニングは一時かなり盛んになりましたが、最近はあまり見ないです。自然言語処理…
Weekly Machine Learning #232
News:OpenAIが少量サンプルで機械学習モデルのバイアスを矯正できる手法を発表しました。100サンプル以下の転移学習で効果が得られたとしています。事前学習済みの言語モデルはパラメーター数が非常に多いため、これだけ少ないデータ量で効果が得られるのは驚きです。Articles:テーブルデータにTransformer x 事前学習の仕組みを入れる研究は興味深いです。テーブルデータにも、膨大なデータを事前学習して転移学習するというパラダイムがやってくるかもしれません。実務での活用という点では、テーブルデータで活用が…
Weekly Machine Learning #231
News:OpenAIがスタートアップへの援助をスタートしました。気候変動に対する機械学習の適用もテーマになっているので、その話題を扱ったセミナーも紹介しています。気候変動への対応が国の債権格付けに影響するという研究もあり、単に注目を集めるだけでなく重要視されつつあるテーマです。Articles:強化学習にTransformerを応用した研究を紹介しています。強化学習というより教師ありに近い設定なので、実際有効かはこれからだと思います。テキストをバイトで扱う手法は注目です。形態素解析の手間がなくなるだけで、自然言…