まず単一バッチをオーバーフィットさせる
全データセットでの訓練実行を信頼する前に、ほんの一握りの例に対してモデルが損失をほぼゼロまで下げられることを確認する。10個の例すら記憶できないなら、バグはコードにあり、データにはない。
ひらめきの瞬間に巧妙な新アルゴリズムを発明する研究者というイメージは、おおむね間違っている。多くの日は、有益な情報を得られない形で失敗する実験を回し、今月他の百の研究所が発表した内容を読み、有望に見える結果が本物なのか、それとも運の良い乱数シードのアーティファクトなのかを見極めようとすることに費やされる。
この分野の中で受け継がれる技術は、どのアーキテクチャを暗記するかよりも、実験の規律に関わるものだ。何が実際に改善を引き起こしたのかをどう切り分けるか、いつベンチマークを信じていつ信じないか、そして否定的な結果が静かに捨てられてしまわないようにどう保つか、といった規律である。
What the work demands
数学的基礎88
プログラミングとシステム74
実験の厳密さ85
文献の統合66
研究のセンス84
文章と伝達62
数学的基礎
線形代数、確率、微積分、最適化は、ほぼすべてのモデルと論文が書かれている言語だ。これらがなければ、新しい手法は単に馴染みがないのではなく理解不能になる。
プログラミングとシステム
Pythonと深層学習フレームワークで効率的なコードを書き、数十から数千のプロセッサにまたがって訓練ジョブを実行できる程度の分散システム工学の理解を持つこと。
実験の厳密さ
対照比較を設計し、結果を信頼できるだけの十分な乱数シードで実験を回し、改善を実際に引き起こした具体的な変更を、明白そうな説明を鵜呑みにせず切り分けること。
文献の統合
年間数万本もの新しいプレプリントが出る分野に追いつき、その中のどの一握りが実際に重要かを見極めることは、今やそれ自体が一つのスキルだ。
研究のセンス
多くのもっともらしい方向性のうち、どれが何カ月もの計算資源と注意を注ぐ価値があるかを選ぶこと――直接教えるのが最も難しいスキルで、通常は経験豊富な指導教員と一緒に働く中で吸収される。
文章と伝達
査読に耐えるほど明確に書けなかったり、専門家でない資金提供者に説明できなかったりする結果は、それがどれほど本物であっても影響力を持ちにくい。
A day in the life
- 8–10
実行結果の確認と読書
一日の集中作業が始まる前に、一晩かけた実験結果を確認し、新しいarXivプレプリントや研究室のチャットでの議論に目を通す。
- 10–13
集中作業:実験とコード
その日の最も守られた時間帯で、訓練コードを書いたり、モデルをデバッグしたり、一連の実験の次のステップを設計したりする。
- 13–14
昼食
しばしば研究室の仲間と一緒にとられ、予定されたミーティングではめったに生まれない類の非公式なアイデア交換の場になることが多い。
- 14–16
ミーティングと輪読会
研究室のミーティング、指導教員やマネージャーとの1対1、そして誰かがグループが理解すべき論文を発表する持ち回りの輪読会。
- 16–19
分析と執筆
実験がうまくいった、あるいはいかなかった理由を掘り下げ、共有の結果ドキュメントを更新し、締め切りを前にした論文のセクションを起草する。
- 19–8
勤務時間外(ほぼ)
個人の時間――ただし主要な学会の締め切りの数週間前は例外で、夕方や週末は実験の仕上げに日常的に消えていく。
The know-how
Craft knowledge practitioners actually pass on — not motivation.
ベースラインを新アイデアと同じくらい徹底的にチューニングする
発表された「改善」の驚くほどの割合は、比較対象のベースラインに新手法と同じハイパーパラメータ探索予算を与えると縮小あるいは消滅する――GANでも言語モデルでも文書化されているパターンだ。
一度に一つずつ変更を除去する
五つの変更を束ねた新手法が旧手法を上回るとき、どのアイデアの功績にもする前に、各変更を独立に除去して再テストする。そうしないと、論文のストーリーと実際の効果の原因が静かに乖離しうる。
自分が最適化対象にもしているベンチマークを疑う
リーダーボードの数値は、研究者が繰り返しそれに直接合わせてチューニングし始めた時点で、汎用能力の測定をやめる――ゴハートの法則として長く知られるダイナミクスで、NLPやビジョンにおけるベンチマーク飽和への批判で直接引用されている。
最後の実験の前に主張を書く
論文の中核となる主張を早い段階で起草することで、残りの実験のために具体的で反証可能な目標が強制される――先に実験を回し、うまくいったことを寄せ集めてストーリーを組み立てるのではない。
うまくいかなかったことも記録する、うまくいったことだけでなく
失敗した設定、シード、ハイパーパラメータは実行が失敗すると通常捨てられるが、それを記録しておくことで、研究室が6カ月後に別の名前の下で同じ行き止まりを静かに再実行するのを防げる。
Tools of the trade
PyTorch / JAX
二大深層学習フレームワーク。PyTorchはほとんどの学術・産業研究で主流であり、JAXは大規模計算やGoogle系の研究で人気がある。
GPU/TPU計算クラスタ
Slurmのようなツールでスケジュールされる共有クラスタで、モデル設計を実際に訓練されたネットワークに変える――どんな実験が可能かを決める最大の制約になることが多い。
arXiv
実際にはこの分野の事実上の発表の場。新しい結果はここでプレプリントとして出回り、正式な査読の何カ月も前に、あるいは査読を経ずに公開されることも多い。
Weights & Biases / TensorBoard
何百もの実行にわたって損失曲線、ハイパーパラメータ、出力を記録する実験管理ダッシュボード。これがなければ実験の比較は手に負えなくなる。
Jupyterノートブック
素早いデータ探索、特定の例に対するモデルの挙動のデバッグ、コードが本格的な訓練パイプラインに組み込まれる前のプロトタイピングのための対話型環境。
How people fail at it
仕組みを伴わないリーダーボードの向上を追う
なぜうまくいくのかという仮説なしに、追加のハイパーパラメータ探索や規模拡大でわずかな精度向上を絞り出すことは、たとえその数値自体が本物であっても、他の誰にとっても発展させにくい結果を生む。
最良の乱数シードだけを報告する
多くのシードを実行し、平均とばらつきではなく最良のものだけを発表することは、ただのノイズを本物の効果に見せかける――強化学習やNLPの再現性研究で繰り返し指摘されてきた問題だ。
非開示のデータや計算資源の優位性
事前訓練コーパスに漏れ込んだテストデータや、論文が報告するより静かに大きい計算予算は、結果を再現不能にしうる――そして発覚した場合、控えめで正直な結果よりもはるかに研究者の信頼性を傷つける。
Keep exploring
More in Engineering & Technology
💻
ソフトウェアエンジニア
現代生活を動かすコードを書き、テストし、保守する仕事であり、AIが自分自身の日々の作業を自動化していく様子を最初に目の当たりにしている職業の一つでもある。
AI-resistant 35 🛰️航空宇宙エンジニア
地上を離れる航空機・ロケット・宇宙船を設計・解析・認証する仕事で、推測の余地を残さない安全マージンを守り続ける。
AI-resistant 74 🌉土木技術者
川と岩と重力を橋・道路・清潔な水に変える職業――イムホテプ以来、文明を静かに支え続ける仕事。
AI-resistant 72 🔌半導体エンジニア
自動車のブレーキから核ミサイルの誘導システムまで、あらゆるコンピュータや携帯電話の中にあるトランジスタを設計・製造する。地球上でごく一部の工場しか動かせないほど精密な機械を使う仕事だ。
AI-resistant 60 🦾ロボット技術者
感知し、判断し、物理世界で行動する機械を設計する仕事。真の難問は知能ではなく、世界そのものだった。
AI-resistant 65