Lunchesを参照)考えられるすべての問題でパフォーマンスが平均化されている場合、任意の2つのアルゴリズムは同等です。「無料ランチなし」の定理は本当に本当ですか?実際にはどういう意味ですか?このアサーションを示す(MLコンテキストでの)良い例がいいでしょう。動作が非常に悪いアルゴリズムをいくつか見たことがありますが、実際には上記の定理に従っているとは信じにくいため、この定理の私の解釈が正しいかどうかを理解しようとしています。Lunch定理(NFL)に最初に遭遇した後の本当に一般的な反応です。機械学習用のものは、MLコミュニティで議論されているすべてのものに直面するため、特に直感的ではありません。言っても、定理は真実ですが、それが何を意味するのかは議論の余地があります。知らない人のために定理を言い換えると、機械学習のNFL定理は、ローカル検索と最適化のためのNFL定理の特別なケースです。ローカル検索バージョンの方が理解しやすいです。品質は、あなたが使用することを選択した任意のローカル検索アルゴリズムによって発見され、正確にただ空間から一様にランダムにサンプリングすることによって、可能な解決策を生成することを地元の「検索」アルゴリズムの平均ソリューションの品質と同じすべてのソリューションの。別の定式化では、人々がさらに強い反応を望んでいる場合、問題の最善の解決策を見つけたい場合、解決策を反復的に悪化させていると思われることを試すことは、問題を解決することと同じくらい良いことです。ソリューションを反復的に改善しているようです。平均して、これらのアプローチはどちらも同等に優れています。これが本当なのでしょうか。ウォルパートは定理をヒュームの帰納問題に関する研究の特殊化と表現することがある。帰納法の問題の基本的なステートメントは、次のとおりです。私たちは未来が過去のようになると仮定するための論理的な根拠はありません。論理的には、物理​​法則がすべて明日を根本的に変えることができなかったという理由はありません。純粋に論理的な観点から見ると、未来が過去とはさまざまな点で異なる可能性があることはまったく理にかなっています。ヒュームの問題は、一般的に未来は多くの点で過去のようであるということです。彼はこれがそうである必要があるという哲学的な(論理的な)議論を定式化しようとしましたが、基本的に失敗しました。Lunchの定理でも同じことが言えます。検索スペースがどのように見えるかわからない場合、優れたソリューションがどのように見えるかについて過去に行った観察(つまり、データ)、それからそれはあなたが行う操作がそれが痛いということであるのと同じくらいありそうです。そのため、「考えられるすべての最適化問題の平均」の部分が重要です。後の山登りが良い戦略であるあらゆる最適化問題についてkk移動、k番目の山登り移動がひどい解決策につながることを除いて、同じものを作ることができます。実際の証明はそれよりも微妙ですが、それが基本的な考え方です。非常に簡単な一般的な要約は次のようになります。機械学習アルゴリズムは、別の種類の問題でより良く機能させることによってのみ、ある種の問題でよりよく機能するようにすることができます。これは実際にはどういう意味ですか?それはあなたのアルゴリズムが特定の問題に効果的であると考えるためのいくつかの先験的な理由を持つ必要があることを意味します。正当な理由が正確にどのようなものであるかは、MLコミュニティ内で活発な議論の対象となっています。これは、バイアスと分散のトレードオフと非常に密接に関連しています。一般的な応答は次のとおりです。新しい最適化問題を見ると、ランダムな種類の構造が存在する可能性がありますが、現実の世界で実際に発生する問題ははるかに規則的であり、移動するという事実など、特定の共通のテーマが存在します上り坂」(エラーを最小限に抑える)は反復的に優れたソリューションにつながる傾向があります。基本的に、この考え方は、NFLは装飾的な定理であると述べています。ほとんどのMLアルゴリズムは、「実生活では見られない種類の問題」ではなく、「実生活で見られる種類の問題」ではより効果的に機能します。[お気に入りのアプリケーションドメインを挿入]で新しい最適化の問題を確認すると、ランダムな種類の構造が含まれている可能性がありますが、問題は[思ったとおりに]になりがちで、[お気に入りのアルゴリズム]がはるかに多くなります。ランダムな推測よりも効果的です。ウォルパート&マクレディ自身が公表され、興味深い結果が実際に存在していることを示すされている共進化、に基づいて、最適化のプロセスを専門と一貫し、より良いランダム推測より。特定のサブドメインでは、一部のアルゴリズムが他のアルゴリズムよりも優れていることは明白です(これは経験的に確認できます)。NFLは、そこでより良くなるためには、どこかでもっと悪くなる必要があると私たちに話します。議論が必要なのは、「どこか別の場所」が本当の問題なのか、純粋に人工的な問題なのかです。ジョン・ドゥセットソース「最適化の問題があるかもしれませんが」、存在しますか?「いくつかの一般的な応答は次のとおりです:」セクションでポイントを明確にすることをお勧めします。nbroすばらしい答えです。アルゴリズムによって、それらにはすべてのバリエーションが含まれますか?たとえば、バックプロップはデリバティブによって、または小さな差を取るか、またはダブルデリバティブによって(私の知る限り)実装されている可能性があります。DuttaA1@nbro:実は、それはプレースホルダーを選択<し>て見せるための残念な選択だったと思います。ジョンの意図に近づくことができるように、それらを切り替えました。Doucette1@DuttaAはい。重要なアイデアは、最適化問題を解決するためにどのような戦略を考えたとしても(より高い微分係数を考慮してエラーを最小限に抑えるなど)、それ以外はまったく同じに見える問題のバージョンを作成できるということです。kk繰り返しを行うと、最終的には悪い解決策になります。Doucette弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。