【ColdFusion】AI Fails at 96% of Jobs (New Study)（日本語要約）

📺 ColdFusion  ｜  📅 公開日: 2026-02-13  ｜  🤖 テキスト取得: YouTube字幕(transcript-api)

📌 概要

この動画は、AIが仕事市場に与える影響について、新しい研究結果を基にその実態を深く掘り下げています。AIが一部の仕事を効率化する一方で、実際には人間のパフォーマンスと比較して96.25%の確率で劣るという衝撃的な事実を提示し、AIの真の価値と現在の過剰な評価について疑問を投げかけています。

🔑 主要ポイント

  • 新しい評価方法「RLI」の導入： 従来のシミュレートされたベンチマークとは異なり、実際のフリーランスの仕事（Upworkから取得）をAIモデルに与え、人間がその結果を評価する「リモート労働指標（Remote Labor Index: RLI）」という手法を採用しました。
  • AIの驚くべき低パフォーマンス： 240の実際の仕事でAIをテストした結果、最も性能が良かったAIモデル（Claude Opus 4.5）でも成功率はわずか3.75%で、96.25%の失敗率を示しました。これは、AIが10のタスクのうち少なくとも9つで人間よりも劣ることを意味します。
  • AIの主な失敗点： AIは、破損したファイルや不適切な形式での納品、コンポーネントの欠落や動画の途切れなどの不完全な作業、プロフェッショナルな基準を満たさない低品質な成果物、そして3Dビューでの外観の不一致といった一貫性の欠如が頻繁に見られました。
  • AIが成功した特定の分野： AIは、創造的なアイデア出し（オーディオ、画像関連）、ライティング、データ取得（ウェブスクレイピング）、広告・ロゴ作成、レポート作成、シンプルなコード生成といった特定の狭い領域では高い能力を発揮しました。
  • 企業におけるAI導入の課題： 多くのCEOがAIから期待する財務的リターンを得られておらず、AIの導入にはその限界を理解した上での計画的かつ熟練したアプローチが必要であると指摘されています。MicrosoftのAIが書いたコードによるソフトウェア問題や、AIで解雇した従業員を再雇用する企業の例が挙げられています。
  • 医療分野でのAIのリスク： 米国食品医薬品局（FDA）は、AIの誤動作、手術ミス、身体部位の誤認識に関する100件の報告を受けており、AIが外科医に誤った情報を提供し、患者に深刻な損傷を与えた事例も発生しています。
  • AI技術の過大評価と投資リスク： AI企業が多額の宣伝費を投じてAIモデルをプロモーションしている現状は、現在のAIが宣伝通りに革命的ではないことの証拠であると指摘。著名なAI研究者ヤン・ルカンも、現在のAIアーキテクチャは限界に達しており、大規模化だけでは問題は解決しないと述べています。

💡 重要な発見・結論

この研究は、AIが実際の仕事において、人間のパフォーマンスに比べて圧倒的に劣るという現実を浮き彫りにしました。AIは特定の狭い分野では有用なツールとなり得るものの、汎用的な仕事においてはまだ信頼性が低

※ この記事はYouTube動画のトランスクリプトをもとに Google Gemini 2.5 Flash が日本語で自動要約したものです。 テキスト取得方法: YouTube字幕(transcript-api)。内容の正確性は原動画をご確認ください。

コメント

コメントを投稿

このブログの人気の投稿

ある中学校生徒達の医療AIに関するQ&A（2025年1月版）

ある中学校生徒達の医療AIに関するQ&A（2025年1月版） 質問①：もし人工知能を使った診断で、誤診をしてそのまま手術をして失敗して しまった場合、誰が責任を取るのですか？ これはとても大切な質問ですね。人工知能はまだ発展途上の技術なので 、時には間違った診断をしてしまう可能性もあります。 人工知能を使った診断で誤診があり 手術が失敗してしまった場合、 最終的な責任は、 その診断結果を参考に手術を行った医師 にあります ２ 。 医師は、人工知能が出した診断結果を鵜呑みにするのではなく、 自分の知識や経験に基づいて、 最終的な判断を下さなければなりません ３ 。 AIはあくまでも医師を助けるための道具 であり、最終的な判断は 医師 が責任を持って行う 必要があるのです。 質問②：医療に人工知能を使うことによるメリット、デメリットはなんですか？ 人工知能を医療に使うことには、たくさんのメリットがあります。 病気の早期発見 : 例えば、AIはレントゲン写真やCT画像から、がんのような病気を 人間よりも早く 、 正確に見つけることができます ４ 。 まるで、 人間の目では見えない小さな変化 も 見つけることができ る、 すごい顕微鏡のようです。 医師の負担軽減 : AIが診断や事務作業の一部を代わりに行ってくれることで、医師は患者さんと 向き合う時間を増やすことができます ５ 。 先生も、AIのおかげで、もっと患者さんの話を じっくり聞くことができるようになるかもしれませんね。 新しい薬の開発 : AIは膨大な量のデータから、 新しい薬の開発に役立つ情報 を見つけ出すことが できます ６ 。 例えば、AIは、たくさんの薬の成分や効果に関するデータを読み解き、 新しい薬の組み合わせを見つけ出すことができるのです。 地域格差の減少 : インターネットとAIを組み合わせることで、遠く離れた場所に住んでいる人でも、 専門の医師の診察を受けやすくなります 1 。これは、 AIを使ったオンライン診療 です。 一方で、デメリットもあります。 誤診のリスク : まだ完璧ではないため、 AIが誤った診断をしてしまう可能性 があります 7 。 そのため、 医師はAIの診断結果を慎重に確認する必要があります。 コスト : AIを導入するためには、 高額な費用 がかかります 8...
続きを読む

AI画像診断：現状と課題、そして未来 (2025年1月版）

  AI画像診断：現状と課題、そして未来 (2025年1月版） 近年、人工知能（AI）は目覚ましい発展を遂げ、医療分野においても画像診断支援、創薬、治療計画など、様々な領域で応用が進んでいます。特に、画像診断の分野では、AIによる画像解析技術が急速に進化し、臨床現場への導入も始まっています。AI画像診断は、医師の診断を支援し、診断精度の向上、業務効率化、医療の質向上に貢献することが期待されています。しかし、AI画像診断は発展途上の技術であり、克服すべき課題も存在します。 本稿では、AI画像診断の現状と課題、そして未来について、最新の研究論文や学会発表、政府機関や医療機関のウェブサイト、専門家の意見などを参考にしながら、医療従事者、特に臨床医がAI画像診断を適切に活用するための情報を提供することを目的とします。 AI画像診断の一般的な課題 AI画像診断には、以下のような一般的な課題が挙げられます。 課題 説明 過学習 AIモデルが学習データに過度に適合し、未知のデータに対する予測精度が低下する現象です。 1 特定のデータセットに偏って学習してしまうと、汎化性能が低くなり、実臨床の多様な症例に対応できない可能性があります。 2 バイアス AIモデルが学習データに含まれる偏りを反映し、特定の属性を持つ患者に対して不正確な診断を行う可能性があります。 3 例えば、特定の人種や性別の患者データが少ない場合、その属性の患者に対する診断精度が低下する可能性があります。 4 汎化性能の限界 AIモデルが学習したデータと異なる特徴を持つデータに対して、十分な精度で予測できない可能性があります。 5 医療現場では、多様な撮影装置、撮影条件、患者背景の画像を扱う必要があるため、汎化性能の向上が重要となります。 説明可能性の不足 AIモデルがどのように診断結果を導き出したのか、その根拠が不明瞭であるという問題です。 6 ブラックボックス問題とも呼ばれ、AIの判断に対する信頼性を低下させる要因となります。 7 データ依存性 AIモデルの性能は、学習に用いるデータの質と量に大きく依存します。 8 高品質なデータセットの構築には、正確なアノテーション、データのバランス、プライバシーへの配慮など、多くの課題が存在します。 9 倫理的な問題 AI画像診断の利用に伴う責任の所在、プラ...
続きを読む

2026年03月18日のAIニュースまとめ

本日から過去３日（2026年03月18日）のAI関連ニュースヘッドライン（最大40件）をお届けします。 OpenClawが、中国でAIエージェントブームに火をつけた——地方政府が最大500万元補助、テンセントは業務AI「WorkBuddy」投入でミームも広がる「エビを育てる＝AIエージェントを育てる」 　 （Ledge.ai） Google、Wiz買収を完了　過去最大の320億ドル買収でクラウド・AIセキュリティ強化 　 （Ledge.ai） Sakana AI、防衛装備庁のAI研究を受託　複数AIを組み合わせ意思決定プロセスを高速化 　 （Ledge.ai） 「ポケモンGO」のNiantic Spatial、配送ロボット企業Cocoと提携　地理空間AIをロボット配送に提供 　 （Ledge.ai） OpenAI、AIセキュリティ企業「Promptfoo」を買収　Fortune 500の25％以上が利用するLLMテストツール 　 （Ledge.ai） Microsoft、長時間タスクを実行する「Copilot Cowork」を研究プレビュー公開——Anthropicと連携し“実行するCopilot”へ 　 （Ledge.ai） Adobe、PhotoshopのAI編集支援を強化　自然言語で指示できる「AI Assistant」公開 　 （Ledge.ai） Google MapsにGemini統合「Ask Maps」発表——10年以上ぶりの大規模刷新、会話で店や場所を探すAI地図検索 　 （Ledge.ai） ChatGPT、数式やグラフの変化を見ながら学べる新機能　数学・科学向けのインタラクティブなビジュアル解説を提供開始 　 （Ledge.ai） 米Luma AI、次世代型画像生成モデル「Uni-1」発表　理解と生成を統合、推論性能でもNano Banana 2など上回る 　 （Ledge.ai） AmazonとMicrosoft、個人向けヘルスAIを相次ぎ発表　受診導線と健康データ統合で競争本格化 　 （Ledge.ai） DeNA、米Cognition AIの自律型AIエンジニア「Devin Enterprise」を全社導入　2,000人超が利用可能に 　 （Ledge.ai） ...
続きを読む