結果が本物かどうかを判断すること
82本物の効果と、ノイズ、運の良いシード、あるいは訓練データに静かに漏れ込んだベンチマークとを区別することには、まさに自動化されたシステムが自分自身の出力に適用するのが最も苦手な懐疑的判断が必要とされる。
AI研究は、自らの成果に最も直接さらされている職業だ。この分野が作るツールは今、意図的に研究プロセスそのものに向けられている――論文を要約し、実験を提案し、訓練コードを書く。これがこのセクションを、このサイトの他のほぼどのプロフィールよりも仮説的でなくしている。
そのさらされ方は仕事を時代遅れにするわけではないが、何が生き残るかという議論を異例なほど具体的にする。一握りの研究所が研究ループ全体を回すシステムを公然と作ろうとしており、正直な答えは、現時点では、その一部はできるが、結果が本当かどうかを判断するための最も重要な部分はできない、というものだ。
中程度
Share of the work a machine could do
AI研究者の日常業務のかなりの部分――文献の選別、実験コードの初稿、ハイパーパラメータ探索、関連研究セクションの起草――は、すでにAIシステムにとって比較的高速にこなせるものであり、ループのより多くを自動化するために明示的に構築されたマルチエージェント研究システムは、いくつかの主要研究所での現役プロジェクトだ。まだ自動化されていないのは、結果が本物かどうかを判断すること、どの問いを尋ねる価値があるかを決めること、そして発表した主張が誤りだったと判明したときに責任を負うことだ。
Scored from the tasks, not the job title. Lower is safer.
Jobs AI cannot take →What machines cannot take
尋ねる価値のある問いを選ぶこと
85特定の、難しく、十分に探求されていない問題が研究所の何カ月もの計算資源と注意を注ぐ価値があると判断することは、不完全な情報での賭けであり、研究の中でも過去の論文へのパターンマッチングから最も遠い部分だ。
発表した主張への説明責任
88結果が再現に失敗したり、ベースラインに欠陥があると判明したりしたとき、誰かがその結果を弁護しなければならない――モデルは自身の出力に対して専門的あるいは科学的な説明責任を負うことができない。
分野横断的・倫理的判断
76公表前にシステムの起こりうる社会的影響、安全リスク、デュアルユースの可能性を検討することは、自動化された研究パイプラインが自力で推論する根拠を持たない価値観と文脈に依拠する。
何年もかけて科学的センスを培うこと
78キャリアを通じて何百もの実験の成功と失敗を見て培われる、どの意外な結果を追う価値があるかという直感は、いかなるシステムもまだ上級研究者のレベルで実証していないものだ。
What they already take
文献の選別と要約
70年間数万本もの新しいプレプリントを前に、論文を要約し関連性でランク付けするツールはすでに分野全体で日常的に使われている。
実験・パイプラインコードの初稿
68標準的な訓練ループ、データローダー、評価スクリプトをつなぎ合わせることは、今やゼロから書くよりも生成してチェックする方が速いことが多い。
ハイパーパラメータ探索
74自動チューニングシステムは、研究者が一つずつ手動で設定を試すよりもはるかに網羅的かつ安価にパラメータ空間を探索できる。
関連研究・背景セクションの起草
55新しい論文に関連する先行研究を要約する最初の草稿は、ますますAIの助けを借りるようになっているが、具体的な位置づけや正直な比較には今も研究者のチェックが必要だ。
How the work is changing
実験を回すことから指示することへ
研究者の時間のますます多くの部分が、すべての実験を自ら書いて回すことではなく、自動化されたシステムに何を試させるかを指定し、その出力を判断することに費やされる。
計算資源がアイデアと同じくらい決定的になる
この分野自身の「苦い教訓」が予測する通り、大規模計算へのアクセスが、あるアイデアを試せるかどうかさえ決めるようになり、フロンティア研究が資金の潤沢な一握りの組織に集中していく。
再現性と評価の地位が向上する
AI支援ツールがもっともらしく見える結果を素早く生み出しやすくするにつれ、その結果を厳密に検証することは、研究グループの中でより高く評価され、より別個に人員を配置される専門分野になりつつある。
研究ループの自動化自体が一つの研究テーマになる
限られた人間の監督のもとで仮説を提案し、実験を実行し、論文を起草するように設計されたシステム――Sakana AIの「AIサイエンティスト」(2024年)やGoogle DeepMindの「AI co-scientist」(2025年)のようなプロジェクト――は、それ自体が今や活発な発表分野になっている。
New jobs branching off
AI安全性/アライメント研究者
ますます能力の高いシステムが設計者の意図通りに信頼できる形で動き続けるようにする方法を研究する専門分野で、2010年代以前には独立したキャリアパスとしてほとんど存在しなかった。
ML基盤/システムエンジニア
フロンティア研究が今やどんな個々のアルゴリズム的アイデアと同じくらい依存している分散訓練・計算基盤を構築・維持する。
AI政策研究者
技術的な研究と政府・企業の政策との境界で働き、ある研究所自身のシステムが何をできて何をできないかをルールや安全策に翻訳する。
レッドチーミング/評価スペシャリスト
モデルやAIが生成した研究成果物が本番環境や発表に届く前に、故障モード、セキュリティの穴、誤った主張を意図的にテストする。
Outlook
AI研究人材への需要は今後10年も非常に強いままである可能性が高いが、入門レベルの仕事のあり方はすでに変わりつつある。純粋に手作業で日常的な実験を回すためだけの職は減り、より多くの職は、新しい研究者にAI支援パイプラインがほぼ即座に生み出す仕事を指示し、疑問視し、検証することを期待するようになる。
最も明確な長期的優位性は、本当に新しい問いを立てられ、もっともらしく見える結果が静かに間違っているときにそれを見抜き、公の場で主張の責任を取れる研究者にある――それは、この分野が常に必要としてきたのと同じ判断力であり、今やますます自らの初稿を書くようになった研究プロセスに適用されるものだ。
Keep exploring
More in Engineering & Technology
💻
ソフトウェアエンジニア
現代生活を動かすコードを書き、テストし、保守する仕事であり、AIが自分自身の日々の作業を自動化していく様子を最初に目の当たりにしている職業の一つでもある。
AI-resistant 35 🛰️航空宇宙エンジニア
地上を離れる航空機・ロケット・宇宙船を設計・解析・認証する仕事で、推測の余地を残さない安全マージンを守り続ける。
AI-resistant 74 🌉土木技術者
川と岩と重力を橋・道路・清潔な水に変える職業――イムホテプ以来、文明を静かに支え続ける仕事。
AI-resistant 72 🔌半導体エンジニア
自動車のブレーキから核ミサイルの誘導システムまで、あらゆるコンピュータや携帯電話の中にあるトランジスタを設計・製造する。地球上でごく一部の工場しか動かせないほど精密な機械を使う仕事だ。
AI-resistant 60 🦾ロボット技術者
感知し、判断し、物理世界で行動する機械を設計する仕事。真の難問は知能ではなく、世界そのものだった。
AI-resistant 65