AIを安心して使うには、AIがどんな形で誤り、害を生むのかを知ったうえで、人が判断に関わり、組織として管理する仕組みを作っておく必要があります。
AIのリスク・脅威の4つのまとまり
AIのリスクは、次の4つのまとまりで捉えると整理できます。
AIのリスクは、この4つのまとまりで捉えると整理しやすくなります。
セキュリティ・プライバシーへの懸念 … 業務で入力した機密情報や個人情報が、AIの出力などを通じて外に漏れる。学習データに不正なデータを混ぜられ、AIの判断をゆがめられる（データ汚染攻撃）
信頼性の課題 … 出力が正しいとは限らない。ハルシネーション、古い情報、出典の分からない情報、答えのぶれ（次の節）
倫理・法的リスク … 差別的表現や悪意ある情報の出力、ディープフェイク、著作権など他人の権利の侵害
フロンティアAIによるリスクと脅威 … 最先端の高性能なAIが悪用されたり、人の意図どおりに制御できなくなったりするおそれ
害は画面の中だけで起きるとは限りません。たとえば倉庫の搬送ロボットが、カメラの映像から通路に人がいないと誤って判断して走り出せば、人がけがをします。AIの出力で機械が動く場面では、AIの誤りがそのまま事故になります。 AI事業者ガイドラインも、AIの不適切な出力が生命や財産に深刻な損害を与える可能性をリスクとして挙げています。
差別的表現の原因の1つが、学習データの偏り（バイアス）です。AIはデータの偏りもそのまま学んでしまいます。 総務省・経済産業省のAI事業者ガイドラインは、過去10年分の履歴書の応募者がほとんど男性だったために、女性を不利に扱うようになった採用AIの例を挙げています（データの偏りは9-2 データ分析）。 悪意ある情報は、人をだましたり傷つけたりする有害な内容です。ディープフェイクは、AIで作った本物そっくりの偽の画像・動画・音声で、娘の声をまねた音声で誘拐を装って身代金を要求する詐欺や、米国の国防総省付近で爆発が起きたとする偽画像が広まって米国の株価が一時下がった例があります。AIで作ったものだと見分けられるよう、電子透かしなどの技術も求められています。
プライバシーでとくに身近なのが、入力した内容の行方です。生成AIのサービスでは、入力した内容がAIの学習に使われることがあります。個人情報保護委員会は、生成AIサービスを使う企業などに対し、個人データを含む内容を入力するなら、サービスの提供者がそれを機械学習に使わないことなどを十分に確かめるよう注意を促しています。一般の利用者にも、利用規約やプライバシーポリシーなどを十分に確認するよう呼びかけています。 そこで確かめるのがAIサービスのオプトアウトポリシーです。入力した内容を学習に使わせない選択（オプトアウト）ができるか、その方法や入力した内容の扱いを、サービス側が利用規約やプライバシーポリシーなどで示したものを指します。 個人情報や機密情報を入力する前に、そのサービスが入力を学習に使うかどうかを確かめます。 個人情報保護法で第三者提供の方式を指す「オプトアウト」（29-1 個人情報保護）とは別の場面の言葉です。
フロンティアAIは、幅広い仕事をこなせる最先端の高性能なAIモデルを指す言葉です（1-1 社会変化の動向）。能力が高いぶん、サイバー攻撃などへの悪用や、人の意図どおりに制御できなくなることが心配されています。日本ではAIセーフティ・インスティテュート（AISI）が、AIモデルの技術的な評価を担っています（人工知能基本計画）。
出力の信頼性の課題 ── ハルシネーションほか
生成AIの文章は、確率的な相関関係にもとづいて作られます。もっともらしい文章が出てくることと、中身が正しいことは別の話です。
4つの課題のどれに対しても、使う前に一次情報で確かめることが基本です。
ハルシネーション … 生成AIが、事実とは異なることをもっともらしく出力すること（政府の人工知能戦略本部が決めた指針の定義）。存在しない判例を、実在するかのように示すこともある
古い出力情報 … AIが学習した時点より後の出来事や制度の改正は、そのままでは反映されない
根拠・出典不明の出力情報 … どの情報をもとに答えたのかが示されず、正しいかを確かめられない
出力情報の再現性・一貫性の欠如 … 同じ質問や同じ基準でも、場面によって違う答えや判断が出る。誤りが出ても同じ状況を再現しにくく、原因を突き止めにくい
AI事業者ガイドラインは、米国の弁護士が生成AIで裁判の資料を作り、存在しない判例を引用してしまった例を挙げています。 生成AIの出力は、もっともらしくても、使う前に一次情報で確かめます。 外部の情報を検索してから答えを作るRAG（検索拡張生成）は、ハルシネーションを抑え、参照元を示しやすくする技術として期待されています。
似た言葉と区別しておきます。ディープフェイクは、人がAIを使って意図して偽物を作るものです。ハルシネーションは、AIが意図せず誤った内容を出すことです。 エコーチェンバーは、SNSなどで自分と同じような考えばかりが周りから返ってくる現象、シンギュラリティは、AIが人間の知能を超えて社会が大きく変わるとされる転換点（技術的特異点）を指す言葉で、どちらもAIの出力の誤りを指す言葉ではありません。
ある社員が、生成AIのチャットサービスに、お客様からの問い合わせメールが「至急」かどうかを判定させました。1回目は「至急」と答え、まったく同じ文面でもう一度聞くと「至急ではない」と答えました。この場面に表れているAIのリスクとして、最も適切なものはどれですか。
× 事実と異なる内容をもっともらしく出力することです。この場面の問題は、事実の誤りではなく、同じ入力に対して判断がぶれていることです。
× 学習した時点より新しい情報が反映されないことです。同じ文面の判定が変わったのは、情報の新しさの問題ではありません。
○ 正解 出力情報の再現性・一貫性の欠如です。
同じ入力・同じ基準なのに、聞くたびに判断が変わっています。業務の判定にそのまま使うと、同じ問い合わせでも扱いがばらばらになります。
× 人がAIを使って意図的に偽の画像・動画・音声を作ることです。この場面では偽物は作られていません。
説明可能なAIとヒューマンインザループ
ディープラーニングのような複雑なAIは、どの入力がどう効いてその結論になったのかが、外から見えにくくなります（18-2 ディープラーニング）。これをブラックボックス化といいます。 AI事業者ガイドラインは、同じ年収の男女で女性の利用限度額のほうが低いと指摘されたクレジットカードで、当局に説明を求められた企業が、アルゴリズムの働きを説明できなかった例を挙げています。
説明可能なAI（XAI：Explainable AI）は、AIがなぜその判断をしたのかを、人が理解できる形で示せるようにする技術や考え方です。判断に効いた項目とその度合いを示す、仕組みの分かりやすい単純なモデルを選ぶ、といった方法があります。 理由が分かれば、差別的な判断が紛れていないかを人が点検でき、判断を受けた人にも説明できます。 ただし、生成AIに「根拠も書いて」と頼んで出てくる理由は、AI内部の判断の筋道ではなく、結果ともっともらしい根拠の組合せにすぎない、とガイドラインは注意しています。
XAIが判断の理由を示し、人がそれを確かめて決めます。AIを信じすぎると、人の確認は形だけになります。
ヒューマンインザループ（HITL：Human in the Loop）は、AIが仕事を進める流れの中に、人が直接関与する仕組みです。AIに単独で決めさせず、適切なタイミングで人が確かめて判断します。 政府の人工知能基本計画（第Ⅱ期。2026年7月閣議決定）は、人の責任のあり方として議論されている考え方に、これと並べて、実行はAIに任せて全体の設計と監視を人が担うヒューマンオンザループ、AIを道具として統制し人が主導権を握るヒューマンインザリードを挙げています。
ただし、人が関わっていても、AIの判断を信じすぎて自分の判断や確認を怠れば、人の関与は形だけになります。このように、自動化された仕組みを人が過度に信頼し、頼りすぎてしまう現象を自動化バイアスといいます。 AI事業者ガイドラインは対策の1つとして、AIの評価や判断を承認するときは、承認する理由や根拠を人が独自に考えてから承認することを挙げています。 AIの判断を承認するときは、理由や根拠を自分で考えてから承認します。
ある会社が、応募書類をAIで点数化して採用選考に使うことにしました。ヒューマンインザループの考え方に沿った運用として、最も適切なものはどれですか。
× 合否をAIに単独で決めさせています。判断の流れに人が関与していません。
× 人は関わっていますが、AIを信じすぎて確認を怠る自動化バイアスの状態で、人の判断が形だけになっています。
× AIそのものの改善で、判断の流れに人が関与する仕組みではありません。
○ 正解 担当者がAIの点数と判断の根拠を確かめ、自分で理由を考えたうえで合否を決めるです。
AIの提案を材料にしながら、最終的な判断を人が自分の頭で行っています。採用のように人の人生に関わる判断では、とくに大事な形です。
AIガバナンス ── 組織でリスクを管理する
AIガバナンスは、AIを使うことで生じるリスクを、関係者が受け入れられる水準に管理しながら、AIがもたらす便益を最大化するための、技術・組織・社会の仕組みの設計と運用です（AI事業者ガイドラインの定義）。 ガイドライン全体の位置づけは10-1 AI 利活用の原則及び指針で扱っています。
リスクを恐れてAIを一律に禁止すれば、便益まで手放すことになります。ガイドラインは、対策の程度をリスクの大きさに合わせるリスクベースアプローチを取り、変化の速いAIに合わせて次のサイクルを回し続けるアジャイル・ガバナンスを求めています。
分析から評価までを回し続け、外部環境が変われば分析からやり直します。
アジャイル・ガバナンスのサイクル
環境・リスク分析 … そのAIがもたらしうる便益とリスク、社会の受け止め方、外部環境の変化を分析する
ゴール設定 … AIを使うかどうかを決め、使うならAIポリシーなどで目指す姿を定める
システムデザイン … ゴールを達成するための管理の仕組み（AIマネジメントシステム）を設計する
運用 … 仕組みを動かし、ゴールと運用の状況を関係者に説明する
評価 … 仕組みが有効に働いているかをモニタリングして改善する。外部環境が変われば分析からやり直す
AIガバナンスは、ルールを一度決めて終わりではなく、分析から評価までを回し続ける活動です。 進めるうえでは経営層のリーダーシップが重要で、ガイドラインは、AIガバナンスを単なるコストではなく先行投資として捉えるよう求めています。 ガイドラインはこのほか、どの組織にも共通する取組として、アカウンタビリティ（AIに関する責任を負うこと）を果たす責任者を決めることや、必要に応じてAIの出力の誤りなどについて指摘を受け付ける機会を設けることも挙げています。
まとめ
この回で持ち帰ること
1. AIのリスクは4つのまとまり＝セキュリティ・プライバシーへの懸念／信頼性の課題／倫理・法的リスク／フロンティアAIによるリスクと脅威。AIの出力で機械が動く場面では、AIの誤りが人のけがや事故にもなる
2. ハルシネーション＝生成AIが事実と異なることをもっともらしく出力。ほかに古い出力情報・根拠や出典が不明・再現性と一貫性の欠如。使う前に一次情報で確かめる
3. ディープフェイク＝AIで作った本物そっくりの偽の画像・動画・音声（人が意図して作る）。差別的表現の原因の1つは学習データのバイアス
4. オプトアウトポリシー＝入力した内容を学習に使わせない選択とその扱いを定めたもの。個人情報や機密情報を入れる前に確かめる
5. XAI＝なぜその判断かを示す。HITL＝AIの流れに人が直接関与する。自動化バイアスに注意し、根拠を自分で考えてから承認する
6. AIガバナンス＝リスクを受け入れられる水準に管理しつつ便益を最大化。環境・リスク分析→ゴール設定→システムデザイン→運用→評価を回し続ける
この節で解ける公開問題
令和4〜8年度の公開問題のうち、この節の知識で解ける問題は次の2問です。
新しい試験のサンプル問題にも、生成AIを業務で使うときの留意事項の問題が出ています（問4）。解説はITパスポート 新試験のサンプル問題 解説へ。
教科書の一覧（現行の試験の順）教科書の一覧（新しい試験の順）過去問
Udemy の ITパスポート講座を、受講者数・★評価・口コミで比べたページです（広告を含みます）。
出典：IPA「ITパスポート試験 シラバス（案）Ver0.1」（2026年8月31日）、「ITパスポート試験 シラバス Ver6.5」、 総務省・経済産業省「AI事業者ガイドライン（第1.2版）」本編・別添（2026年3月31日）、人工知能戦略本部決定「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」（2025年12月19日）、 閣議決定「人工知能基本計画」（2026年7月14日）、個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」（2023年6月2日）。 練習問題は当サイトが説明のために作ったものです。