こんにちはヤク学長です。
本記事の目的は、「機械学習の基礎知識を知る」ことを目的としています。
【本記事のもくじ】
まず、「機械学習」に真剣に取り組むための概要を解説します。
下記の方法で、簡単に概要を抑えることができます。
- １．3分で学ぶ機械学習の基礎知識
- ２．機械学習の基礎知識
- ３．データ分析に必要な知識
それでは、上から順番に見ていきます。
なお、本上記の方法を抑えれば成果が出ます。
記事の内容は「転載 & 引用OK」問題ありません。
１．3分で学ぶ機械学習の基礎知識
AIとは
AI (Artificial Intelligence)は、人工知能を意味します。AIは、コンピューターシステムが人間のように「思考」し、「学習」し、「決定」することができるように設計された技術を指します。
AIのアプリケーションは、画像認識、自然言語処理、ゲームのプレイ、ロボット工学など、多岐にわたります。AIは、人間が行うタスクを効率的かつ正確に実行することができることが期待されています。
「強いAI」と「弱いAI」
「強いAI」と「弱いAI」とは、人工知能（AI）の性能や能力に関する用語です。
「強いAI」は、人間の認知や決定能力を超えた能力を持った人工知能を指します。「強いAI」は、複雑なタスクや課題に対して自律的に解決する能力を持っています。ターミネーターみたいなものがイメージですかね。
「弱いAI」は、特定のタスクや課題に特化した人工知能を指します。「弱いAI」は、人間によってプログラムされ、制御される必要があります。
これらは、人工知能において幅広い範囲にわたる概念であり、両者の間には曖昧な境界線が存在する場合もあります。
「弱いAI」
「弱いAI」を5つの観点から詳しく説明すると次のようになります。
- 特定のタスクに特化: 「弱いAI」は、特定のタスクに特化した人工知能です。例えば、画像認識タスクのための「弱いAI」システムや、自然言語処理タスクのための「弱いAI」システムがあります。
- 人間の指示に基づく: 「弱いAI」は、人間がプログラムし、制御する必要があります。例えば、「弱いAI」ロボットは、人間が与えた指示に基づいてタスクを実行します。
- 人間の決定に影響を与える: 「弱いAI」は、人間の決定に影響を与えることがありますが、自律的に決定することはできません。例えば、「弱いAI」システムが生成したレコメンデーションは、人間の決定に影響を与えることがありますが、それ自体の決定はできません。
- 結果の信頼性: 「弱いAI」の結果は、信頼性に欠ける場合があります。例えば、「弱いAI」システムが生成した画像認識の結果は、常に正確ではない場合があります。
- 人間との協力: 「弱いAI」は、人間との協力を必要とすることがあります。例えば、「弱いAI」システムが生成した翻訳の結果は、人間によって確認される必要があります。
これらは「弱いAI」に関する一般的な特徴であり、全ての「弱いAI」システムがこれらの特徴を持つわけではありません。
２．機械学習の基礎知識
機械学習 (Machine Learning)は、人工知能の分野の一つで、コンピューターシステムがデータを利用して自分自身で学習することができる技術を指します。
機械学習アルゴリズムは、人工知能モデルを作成するために使用されます。このモデルは、入力データから模型パラメータを学習し、出力を予測することができます。このモデルは、新しい入力データに対しても予測することができます。
機械学習アルゴリズムには、教師あり学習、教師なし学習、半教師あり学習など、様々なタイプがあります。これらのアルゴリズムは、画像認識、自然言語処理、ゲームのプレイなど、多岐にわたるアプリケーションで使用されています。
機械学習の種類
機械学習には、次のような種類があります。
- 教師あり学習 (Supervised Learning)：学習データに正解ラベルが付与されている学習方法。分類問題や回帰問題などに利用されます。
- 教師なし学習 (Unsupervised Learning)：学習データに正解ラベルが付与されていない学習方法。クラスタリングや次元削減などに利用されます。
- 半教師あり学習 (Semi-Supervised Learning)：一部のデータにのみ正解ラベルが付与されている学習方法。
- 強化学習 (Reinforcement Learning)：エージェントが環境とのやり取りを通じて、最適な行動を学習する方法。ゲームやロボットなどに利用されます。
- 深層学習 (Deep Learning)：多層のニューラルネットワークを用いた学習方法。画像認識や自然言語処理などに利用されます。
これらは主要な機械学習の種類ですが、これらを組み合わせたものや、他にも多くの種類があります。
教師あり学習
教師あり学習 (Supervised Learning)は、学習データに正解ラベルが付与されている学習方法のことです。この方法では、コンピューターシステムが学習データを利用して、正解ラベルを予測するモデルを作成します。
教師あり学習には、分類問題と回帰問題の2つがあります。分類問題では、入力データを複数のカテゴリに分類することが目的です。回帰問題では、入力データと出力データの関係を学習し、入力データから出力データを予測することが目的です。
教師あり学習は、多くの機械学習アルゴリズムを用いて行われますが、例えば線形回帰、ロジスティック回帰、決定木などがあります。
教師なし学習
教師なし学習 (Unsupervised Learning)は、学習データに正解ラベルが付与されていない学習方法のことです。この方法では、コンピューターシステムが学習データ自体からパターンや構造を抽出することを目的とします。
教師なし学習には、クラスタリング、限定的な生成モデル、次元削減などがあります。例えば、クラスタリングでは、学習データを似たものグループに分類することが目的です。限定的な生成モデルでは、学習データから分布を推定し、新しいデータを生成することが目的です。次元削減では、学習データの次元数を減らして、視覚化や分析のためにデータを圧縮することが目的です。
教師なし学習は、データの構造やパターンの抽出、データの可視化、不明なデータのグループ分けなどに利用されます。
強化学習
強化学習 (Reinforcement Learning)は、エージェントが環境とのやり取りを通じて、最適な行動を学習する方法のことです。この方法では、エージェントが行動した結果に基づいて報酬を受け取り、最大化するような行動を学習します。
強化学習には、Markov Decision Process (MDP)と呼ばれるモデルが用いられます。MDPは、エージェントが環境とのやり取りを抽象的に表現するためのモデルで、状態、行動、報酬、遷移確率などから構成されます。
強化学習は、ゲーム、ロボット、Web ブラウザなどの様々なアプリケーションで利用されています。例えば、ゲームでは、エージェントが最適な戦略を学習し、ロボットでは、エージェントが環境との認識や操作を学習することができます。
３．データ分析に必要な知識
データ分析に必要な知識は次のようなものがあります:
- 数学的な知識: 統計学、線形代数、微積分などの基本的な数学的な知識が必要です。
- プログラミングスキル: Python、R、SQLなどの言語をマスターすることが必要です。
- データベースの知識: データベースの管理、SQLなどのクエリ言語を使ったデータ抽出、加工などに関する知識が必要です。
- ビジネス知識: データ分析を実施するビジネスの領域や課題に関する知識が必要です。
- 可視化技術: Matplotlib、Seaborn、ggplotなどのグラフ作成ツールを使ったデータの可視化手法の知識が必要です。
- データマイニング技術: 機械学習アルゴリズム、分類、回帰、クラスタリングなどのテクニックの知識が必要です。
これらの知識を修得するためには、学校での学習、オンラインのコース、実践的な経験などが必要です。また、データ分析に関連する新しい技術やツールが普及するたびに、常に新しい知識を身に付けることが大切です。
統計指標（平均）
平均
平均は、数値データの集合において、各値の合計をデータ数で割った値を表します。これは、データセット全体の「中心」を表す指標として用いられます。平均は、数学的には「平均値」と呼ばれ、記号としては「μ」または「x̄」が用いられます。
平均を計算するためには、データセット中のすべての値を加算して、データ数で割ることが必要です。例えば、データセット{1, 2, 3, 4} の平均値は (1 + 2 + 3 + 4) ÷ 4 = 2.5 です。
まとめ
平均は、データセット全体の傾向を示す簡単な方法として用いられますが、ある値が大きすぎるか小さすぎる場合、データセット全体の傾向を正確に反映しない可能性があります。そのため、分散や標準偏差など、他の統計指標と共に用いることが望ましいです。
統計指標（中央値・標準偏差）
中央値
中央値は、データセットを昇順または降順に並べたとき、中央に位置する値を表します。データセットのサイズが奇数の場合は、中央値は単一の値を示しますが、偶数の場合は、中央に位置する2つの値の平均値を示します。
標準偏差
標準偏差は、データセット中の各値が平均値からどの程度離れているかを表す統計指標です。標準偏差は、各値を平均値からの距離（偏差）の平方和を計算し、それをデータ数で割った後、平方根をとることで求められます。標準偏差が小さい場合は、データセット中の各値が平均値に近いことを示しますが、標準偏差が大きい場合は、データセット中の各値が平均値から離れていることを示します。
まとめ
中央値と標準偏差は、データセット全体の傾向や分布を示すために用いられます。平均値は、データセット内の特定の値が大きすぎるか小さすぎると、データセット全体の傾向を正確に反映しない可能性がありますが、中央値と標準偏差はこのような問題から独立しているため、より正確なデータの傾向や分布を示すことができます。
可視化（基本のグラフ）
データ可視化は、データをグラフィックスや図を使って視覚化することを意味します。可視化は、データの傾向や分布、関係性などを直感的に理解するために重要な役割を果たします。
基本のグラフとしては、折れ線グラフ、散布図、ヒストグラム、棒グラフなどがあります。
- 折れ線グラフは、時系列データや数値データを折れ線で表現するグラフです。
- 散布図は、2つの変数の関係性を可視化するために用いられます。各データポイントをx軸とy軸上の位置にプロットし、変数間の関係性を把握することができます。
- ヒストグラムは、データ分布を可視化するために用いられます。データを特定のグループ（ビン）に分類し、各グループに含まれるデータ数を棒グラフで表示することで、データ分布を把握することができます。
- 棒グラフは、複数のグループに分類されたデータの比較を行うために用いられます。各グループの数値データを棒として表示し、グループ間の比較を行うことができます。
可視化（散布図・バブルチャート）
散布図
散布図（Scatter Plot）は、2つの変数の関係性を可視化するグラフの一種です。各データポイントをx軸とy軸上の位置にプロットすることで、変数間の関係性を把握することができます。
バブルチャート
バブルチャート（Bubble Chart）は、3つの変数の関係性を可視化するグラフの一種です。各データポイントは、x軸とy軸上の位置と、バブルの大きさ（ボリューム）で表現されます。バブルチャートは、散布図と同様に変数間の関係性を把握することができますが、3つ目の変数を表現することもできます。
可視化（ヒストグラム・箱ひげ図）
ヒストグラム
ヒストグラム（Histogram）は、データの分布を可視化するグラフの一種です。データを区間（ビン）に分け、各ビン内にあるデータポイントの数を高さとして表現します。ヒストグラムは、データの分布を把握するために用いられます。
箱ひげ図
箱ひげ図（Box Plot）は、データの分布を可視化するグラフの一種です。データの平均値、中央値、四分位数などを可視化することができます。箱ひげ図は、データの分布の特徴を把握するために用いられます。
統計指標と可視化の注意
統計指標と可視化にはいくつかの注意点があります：
- 適切な統計指標の選択：データのタイプや分析目的に応じて適切な統計指標を選択することが重要です。
- 前処理：データの前処理（欠損値の補完や外れ値の除去など）は、統計指標や可視化の結果に影響を与える可能性があります。
- 可視化の解釈：可視化の結果は、適切な解釈が必要です。特に、横軸と縦軸のスケールや、使用するグラフの種類によって可視化の結果が大きく異なることがあります。
- 複数のグラフの比較：複数のグラフを比較する場合、同じスケールを使用することが重要です。また、複数のグラフに同じ軸のラベルを付けることも重要です。
- 注意すべき偏り：データには偏りがある場合があります。これに対応するためには、適切な統計指標や可視化手法を選択することが重要です。
というわけで、今回は以上です。引き続きで、徐々に発信していきます。
コメントや感想を受け付けています。ちょっとした感想でもいいので嬉しいです。
それでは、以上です。
