https://takeshima14.netlify.app/category/aws/AWSWowchemy (https://wowchemy.com)Sun, 22 Aug 2021 00:00:00 +0000https://takeshima14.netlify.app/images/icon_hu051d5c93787224b0896b0f1e982cd660_35656_512x512_fill_lanczos_center_3.pnghttps://takeshima14.netlify.app/category/aws/https://takeshima14.netlify.app/post/aws_innovate_data_edition/Sun, 22 Aug 2021 00:00:00 +0000https://takeshima14.netlify.app/post/aws_innovate_data_edition/<h2 id="aws-innovate--data-editionhttpsawsamazoncomjpeventsaws-innovatedatasc_channelemsc_campaignapac_field_t1_jp-innovate-data-edition_20210819_7014z000001hgj8sc_contentfield_t1event_fieldsc_geoapacsc_countryjpsc_outcomeacqsc_publisherothertrkcampaigninnovate-datatrkem_verify_jp_innovate_data-の概要"><a href="https://aws.amazon.com/jp/events/aws-innovate/data/?sc_channel=em&amp;sc_campaign=apac_field_t1_jp-innovate-data-edition_20210819_7014z000001hGj8&amp;sc_content=field_t1event_field&amp;sc_geo=apac&amp;sc_country=jp&amp;sc_outcome=acq&amp;sc_publisher=other&amp;trkCampaign=innovate-data&amp;trk=em_verify_jp_innovate_data" target="_blank" rel="noopener">AWS Innovate – Data Edition</a> の概要</h2> <ul> <li> <p>開催日時 2021/08/19 10:00 - 17:45</p> </li> <li> <p>謳い文句はこんなの</p> <blockquote> <p>「データ分析の最新情報を通し、データによりイノベーションを起こす方法を 1 日で学べるオンラインイベント」</p> </blockquote> </li> <li> <p>関心事項</p> <ul> <li>AWSのリソースを活用したデータ活用の取り組みや事例</li> <li>データ分析の基盤構築や分析手法</li> </ul> </li> </ul> <p>全てのセッションは見れませんでしたが、気になったセッションのメモ書きを分割して残します。</p> <p><a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition_1">【その1】AWS のデータ分析サービスの方向性 ～お客様データドリブンビジネスを支える～</a></p> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>KEY-01<br/>オープニングセッション</td> <td>10:00 - 11:00</td> <td>アマゾン ウェブ サービス ジャパン株式会社<br/>シニアエバンジェリスト<br/>亀田 治伸 様</td> </tr> </tbody> </table> <p><a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition_2">【その2】30分で学ぶ！中堅・中小企業の方のためのデータ分析はじめの一歩</a></p> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>T3-1</td> <td>12:00 - 12:30</td> <td>アマゾン ウェブ サービス ジャパン株式会社<br/>ソリューションアーキテクト<br/>山澤 良介 様</td> </tr> </tbody> </table> <p><a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition_3">【その3】転職サービスにおけるデータ分析基盤の構築事例</a></p> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>CUS1-2<br/>お客様事例</td> <td>12:40 - 13:10</td> <td>ミイダス株式会社 CTO<br>大谷 祐司 様</td> </tr> </tbody> </table> <p><a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition_4">【その4】アプリケーションモダナイズの価値とは ～クラウド移行の目的～</a></p> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>T3-3</td> <td>13:20 - 13:50</td> <td>アマゾン ウェブ サービス ジャパン株式会社<br/>シニアエバンジェリスト<br/>亀田 治伸 様</td> </tr> </tbody> </table> <p><a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition_6">【その5】アクサダイレクトのデータ活用を強力に推進する仕組みとは</a></p> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>CUS2-6<br/>お客様事例</td> <td>15:20 - 15:50</td> <td>アクサ損害保険株式会社<br>データ&amp;テクノロジー本部 エンタープライズデータ部<br>岡崎 卓弥 様</td> </tr> </tbody> </table> <h2 id="全体を通した感想">全体を通した感想</h2> <p>面白かったです。最近はずっとフロントエンド開発が主なため、インフラストラクチャーの香りを体感できて技術の血行が良くなった気がします。</p> <p>特に、データレイクアーキテクチャの考え方はとても共感できました。クラウドネイティブ化の利点にとどまらず、組織全体のデータ活用文化を促す構造がとても魅力的です。</p> <p>Amazonが提示する「データ活用による新しい時代」という具体的なビジョンを1日で体感できたと思います。</p>https://takeshima14.netlify.app/post/aws_innovate_data_edition_1/Sun, 22 Aug 2021 00:00:00 +0000https://takeshima14.netlify.app/post/aws_innovate_data_edition_1/<p>AWS Innovate – Data Editionのセッションを聴講した時のメモ その1</p> <p>リンク元：<a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition">AWS Innovate – Data Edition 見てきました。</a></p> <h2 id="aws-のデータ分析サービスの方向性-お客様データドリブンビジネスを支える">AWS のデータ分析サービスの方向性 ～お客様データドリブンビジネスを支える～</h2> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>KEY-01<br/>オープニングセッション</td> <td>10:00 - 11:00</td> <td>アマゾン ウェブ サービス ジャパン株式会社<br/>シニアエバンジェリスト<br/>亀田 治伸 様</td> </tr> </tbody> </table> <h3 id="新しい生活様式ワークスタイル">新しい生活様式、ワークスタイル</h3> <p>コロナショックによって激増</p> <ul> <li>キャッシュレス</li> <li>家庭でのゲーム、エンタメ</li> <li>フードデリバリーサービス</li> <li>ect&hellip;</li> </ul> <p>時代への適合には、クラウドコンピューティングによって、迅速で柔軟にスケールさせることが重要。</p> <h3 id="データの爆発">データの爆発</h3> <p>世の中のデータが、より多くより多様に増え続けている。 どのように処理するかが今後のビジネスに重要である。 よりやすく使いやすい形で使いたい。</p> <p>安定したデータ収集のために</p> <ul> <li>Amazon Kinesis</li> <li>Amazon MSK(去年リリース)</li> </ul> <h4 id="データは新しい石油">データは新しい石油?</h4> <p>石油を捻出する精錬作業が我々の生活を支えている。</p> <p>データ活用の価値は、データ加工・分析を経て有用なものとなるので、データは石油の前段階と言える。</p> <h3 id="クラウドの利点をデータ活用の基盤構築で活かす">クラウドの利点をデータ活用の基盤構築で活かす</h3> <ul> <li>コスト削減</li> <li>システムの柔軟性、俊敏性</li> <li>開発のスピード</li> </ul> <h3 id="データレイクアーキテクチャ">データレイクアーキテクチャ</h3> <ul> <li>機械学習や分析用の解析基盤はストレージより高価である</li> <li>全ての生のデータは安価でエクサバイトレベルまでスケールするストレージ(S3)に保存しておく</li> <li>高価な解析基盤は必要な時だけ起動するのが基本コンセプト</li> </ul> <h3 id="多様性の実現データ分析は総力戦">多様性の実現、データ分析は総力戦</h3> <p>単一のテクノロジーにのみ対応するストレージに格納するのではなく、最も汎用的なストレージに入れることで多種多様な分析基盤の中心を担うことができる。</p> <p>汎用的なストレージにしておくことでDBだけでなく様々なサービスと連携できるようにする。</p> <p><span style="font-weight: bold;">Data grabity</span></p> <ul> <li>データを格納した１箇所のストレージに様々なアプリケーションが集まっていく様子。</li> </ul> <h3 id="amazon-redshift">Amazon Redshift</h3> <ul> <li>RA3インスタンス</li> <li>AQUA</li> <li>Elastic Resize</li> <li>Concurrency Scaling</li> <li>Data Sharing</li> </ul> <h3 id="データレイクの設定構築セキュリティ">データレイクの設定、構築、セキュリティ</h3> <ul> <li>AWS Lake Formation <ul> <li>Amazon Athena</li> <li>Amazon S3</li> </ul> </li> <li>AWS Glue <ul> <li>Studio</li> <li>DataBrew</li> <li>Elastic Views</li> </ul> </li> </ul> <h3 id="purpose-built-analytics">Purpose-built Analytics</h3> <p>目的に応じて最適な分析基盤を構築する。</p> <p>SQLから機械学習モデルを学習して推論を実行</p> <ul> <li>Amazon Redshift ML</li> <li>Amazon Athena ML</li> </ul> <p>Federated query</p> <ul> <li>Amazon Redshift</li> <li>Amazon Athena</li> </ul> <p>その他</p> <ul> <li>Amazon EMR</li> <li>Amazon Elasticseach Service</li> </ul> <h3 id="bi---amazon-quicksight">BI - Amazon QuickSight</h3> <p>サーバレスで運用不要のBIサービス</p> <ul> <li>ブラウザで全て完結</li> <li>ユーザ数に応じてスケール</li> <li>他AWSサービスとのシームレスな統合</li> <li>利用した分だけの費用</li> </ul> <p>Reader権限</p> <ul> <li>ライセンスを持っていてもアクセスしなければ課金なし</li> </ul>https://takeshima14.netlify.app/post/aws_innovate_data_edition_2/Sun, 22 Aug 2021 00:00:00 +0000https://takeshima14.netlify.app/post/aws_innovate_data_edition_2/<p>AWS Innovate – Data Editionのセッションを聴講した時のメモ その2</p> <p>リンク元：<a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition">AWS Innovate – Data Edition 見てきました。</a></p> <h2 id="30分で学ぶ中堅中小企業の方のためのデータ分析はじめの一歩">30分で学ぶ！中堅・中小企業の方のためのデータ分析はじめの一歩</h2> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>T3-1</td> <td>12:00 - 12:30</td> <td>アマゾン ウェブ サービス ジャパン株式会社 <br/>ソリューションアーキテクト<br/>山澤 良介 様</td> </tr> </tbody> </table> <h3 id="本セッションについて">本セッションについて</h3> <p>対象</p> <ul> <li>既存のデータを活用してデータ分析を始めたい方</li> <li>データ分析に興味はあるけれど、あまりわかっていないんだよね&hellip;という方々</li> </ul> <p>よくある課題</p> <ul> <li>情報システム部の人件費が少ない</li> <li>新しいことにコストがかけられない</li> </ul> <h3 id="何故データ分析するのか">何故データ分析するのか？</h3> <p>ビズネス課題に対して、データに基づいた意思決定をするため</p> <ol> <li>ビジネス課題</li> <li>データ収集</li> <li>分析</li> <li>評価</li> <li>1に戻る</li> </ol> <p>まず最初にやることはビジネス課題を明確にすること</p> <h3 id="意思決定に必要なspan-stylecolor-red指標span">意思決定に必要な<span style="color: red;">指標</span></h3> <ul> <li>定量的な計測可能なメトリクス</li> <li>メトリクスの元となる大量な生データ</li> <li>元データを指標に変換する仕組み</li> </ul> <p>指標と元デーやの例</p> <table> <thead> <tr> <th>ビジネス課題</th> <th>指標</th> <th>データ</th> </tr> </thead> <tbody> <tr> <td>既存のマーケティングでは顧客に有効にアプローチできない</td> <td>新商品売上やプロモーションの反応率</td> <td>EC サイトや既存店舗の売上データ、各種ログ</td> </tr> <tr> <td>顧客のサービス継続率が低下してきている</td> <td>顧客満足度やサービス継続率</td> <td>ユーザマスタ、CRM マスタ、サービス利用ログ</td> </tr> </tbody> </table> <p>仮説検証を繰り返す必要がある</p> <ul> <li>仮説を探すことが重要</li> <li>仮説検証の結果、次の仮説が生まれる</li> </ul> <h3 id="何から始めるべきか">何から始めるべきか</h3> <ul> <li>課題とゴールを決める</li> <li>小さく初めて収集から指標の評価までのフローを作ってみる</li> </ul> <h3 id="オンプレミスで構築する場合の課題">オンプレミスで構築する場合の課題</h3> <ul> <li>導入コスト</li> <li>インフラ構築運用の作業が重く、データ分析に時間をさくのが難しい</li> <li>初期費用がかかり、失敗のリスクが大きい</li> </ul> <p><span style="font-weight: bold;">→ マネージドサービスやサーバーレスのサービスであれば、</span></p> <ul> <li>アプリケーション開発だけに集中できる</li> <li>データをどのように活用するかという本質に集中できる</li> <li>データ活用の検討当初など、利用が少ない場合はコストがかからずに済む</li> </ul> <h3 id="amazon-quicksighthttpsawsamazoncomjpquicksight"><a href="https://aws.amazon.com/jp/quicksight/" target="_blank" rel="noopener">Amazon QuickSight</a></h3> <p>手軽に始められるBIのサーバレスサービス</p> <ul> <li>運用管理不要</li> <li>閲覧ユーザーの料金体系 → アクセスがなければ0円で済む</li> <li>ブラウザのみで完結</li> </ul> <h3 id="事例-株式会社ファイブニーズ様">事例 株式会社ファイブニーズ様</h3> <p>構成</p> <ul> <li>Amazon RDS</li> <li>Amazon QuickSight</li> </ul> <p>課題</p> <ul> <li>売り上げデータをスプレッドシートで管理</li> <li>データ転記の手間、人的ミス</li> <li>売り上げがわかるのが早くても翌日</li> </ul> <h3 id="事例-レッドフォックス株式会社様">事例 レッドフォックス株式会社様</h3> <p>構成</p> <ul> <li>Amazon RDS</li> <li>Amazon QuickSight <ul> <li>SPICE(インメモリ計算エンジン)</li> </ul> </li> </ul> <p>課題</p> <ul> <li>ダッシュボードを使うユーザーの意見を即座に反映させる改善サイクルを作り、早く回す必要があった</li> </ul> <p>1ヶ月強でシステム構築できた</p> <h3 id="事例-株式会社exidea様">事例 株式会社EXIDEA様</h3> <p>構成</p> <p>S3を中心に置いたデータレイク構成にしている</p> <ul> <li>データベース <ul> <li>Amazon RDS</li> </ul> </li> <li>ログ <ul> <li>Amazon Kinesis Data Firehose</li> </ul> </li> <li>ETL <ul> <li>AWS Glue</li> <li>Amazon S3</li> </ul> </li> <li>可視化 <ul> <li>Amazon QuickSight</li> <li>Amazon Athena</li> </ul> </li> </ul> <p>課題</p> <ul> <li>EmmaToolsTMで蓄積したデータを 有用に活用しきれていなかった</li> <li>提供している各機能の利用状況を把握して機能の改善や新機能開発に役立てたい</li> </ul> <p>感想</p> <ul> <li>「データレイクを構築するにあたりAWSを活用した事例や技術などの情報量が多かった為、 サーバーレスサービスを活用し、1ヶ月程度で構築することができました。」</li> </ul>https://takeshima14.netlify.app/post/aws_innovate_data_edition_3/Sun, 22 Aug 2021 00:00:00 +0000https://takeshima14.netlify.app/post/aws_innovate_data_edition_3/<p>AWS Innovate – Data Editionのセッションを聴講した時のメモ その3</p> <p>リンク元：<a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition">AWS Innovate – Data Edition 見てきました。</a></p> <h2 id="転職サービスにおけるデータ分析基盤の構築事例">転職サービスにおけるデータ分析基盤の構築事例</h2> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>CUS1-2<br/>お客様事例</td> <td>12:40 - 13:10</td> <td>ミイダス株式会社 CTO<br>大谷 祐司 様</td> </tr> </tbody> </table> <h3 id="ミイダスの事業">ミイダスの事業</h3> <ul> <li>スカウト型の転職サービス</li> <li>求職者、採用企業のデータを元にお互いにマッチした適材適所を採用を実現</li> </ul> <h3 id="ミイダスのインフラとデータベース">ミイダスのインフラとデータベース</h3> <p>メインDBはAmazon Aurora(MySQL)</p> <p>用途によって細かくインスタンスを使い分けている</p> <ul> <li>メインのWriter、</li> <li>フェイルオーバー用Reader</li> <li>用途別の小型Reader</li> </ul> <p>転職サービスにおけるデータの特徴</p> <ul> <li>求職者と企業の掛け算でデータが増加していく(現在数十億件)</li> <li>スカウトデータは、頻繁にデータの洗い替えが必要になる</li> <li>メール通知などのバッチ処理が多く、終了必須の時間がシビアに決まっている</li> </ul> <table> <thead> <tr> <th>複数のデータベースを組み合わせ、それぞれの特性を活かした運用を実施</th> <th></th> </tr> </thead> <tbody> <tr> <td>求人情報など、全文検索されるテキストデータ</td> <td>Amazon CloudSearch</td> </tr> <tr> <td>頻繁に洗い替えが必要なスカウト情報など</td> <td>Amazon ElastiCache</td> </tr> <tr> <td>求職者に紐づいた、画面表示用の求人情報など</td> <td>Amazon DocumentDB</td> </tr> </tbody> </table> <h3 id="データ分析で抱えていた課題">データ分析で抱えていた課題</h3> <p>従来は、AuroraのReaderを基盤として活用</p> <ul> <li>構築した当初はサービスの規模が小さかった</li> <li>エンジニアが分析できれば良いというコンセプトだった</li> </ul> <p>しかし、</p> <ul> <li>SQLベースで抽出するのでデータ容量が増えるとパフォーマンスの悪化が見られた</li> <li>当初はそれでも良かったが、将来的にサービスが成長するにはデータ分析基盤の構築が不可欠だった</li> </ul> <p><span style="font-weight: bold;">→ ミイダスにとって、データ分析は将来に向けて非常に重要であると位置づけ、 AWS上にデータ分析基盤を構築することを意思決定する。</span></p> <h3 id="データ分析基盤構築の要件">データ分析基盤構築の要件</h3> <ul> <li>運用の手間を減らし、分析者が業務に集中できる環境にしたい</li> <li>将来的なサービスの成長に合わせて、データが増えた際にもインフラをスケールさせたい</li> <li>開発者以外も気軽に利用できる環境を構築したい <ul> <li>Webベースのインターフェイスを作って利用できるようにしたい</li> </ul> </li> </ul> <h3 id="構成">構成</h3> <ul> <li>メインのデータ保存先(データレイク)はS3を採用 <ul> <li>AWS Database Migration Service (DMS)でAmazon Aurora のデータをコピー</li> </ul> </li> <li>可視化・分析はQuickSightを活用 <ul> <li>Amazon RedShiftに蓄積されたデータをGUIで簡単に操作</li> </ul> </li> </ul> <h3 id="選定のポイント">選定のポイント</h3> <h4 id="aws-dms">AWS DMS</h4> <p>AuroraのデータをS3にコピーする際に利用</p> <ul> <li>対障害耐性などの信頼性が高く、Auroraの処理に影響を与えずデータコピーできる</li> <li>大容量のデータの迅速なマイグレーションもサポートしている</li> <li>きっかけはハンズオンだった</li> </ul> <h4 id="aws-glue">AWS Glue</h4> <ul> <li>サーバレスで手軽に利用できる。フォーマットの柔軟性が高く、データの変更に強い。</li> </ul> <p>用途</p> <ul> <li>S3 に蓄積されているデータについて、MySQLの型をPostgreSQLの型に変換</li> <li>DBやアクセスログのデータから個人情報をマスク</li> <li>Amazon Redshift へデータをLoad</li> </ul> <h4 id="redshiftとquicksightの組み合わせ">RedshiftとQuickSightの組み合わせ</h4> <ul> <li>優れたUIとパフォーマンス</li> <li>従来行っていたSQLでのデータ分析と比較して、数10-数100倍のパフォーマンスUPを実現</li> </ul> <h3 id="データ分析基盤の構築による影響">データ分析基盤の構築による影響</h3> <p>開発以外の部門も含めた組織にとって良い効果があった</p> <ul> <li>マーケティングなどの人が自分でデータに興味を持ってどんどん分析して深掘りするようになった</li> <li>エンジニアに依頼しなくても自分で触って分析できる</li> </ul> <p>エンジニアチームに起こった変化</p> <ul> <li>データ分析基盤の運用に時間を取られなくなった</li> <li>GUIによるインターフェースによって、従来の高度なSQLによるデータ抽出に比べて大幅に工数が削減できた</li> </ul>https://takeshima14.netlify.app/post/aws_innovate_data_edition_4/Sun, 22 Aug 2021 00:00:00 +0000https://takeshima14.netlify.app/post/aws_innovate_data_edition_4/<p>AWS Innovate – Data Editionのセッションを聴講した時のメモ その4</p> <p>リンク元：<a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition">AWS Innovate – Data Edition 見てきました。</a></p> <h2 id="アプリケーションモダナイズの価値とは-クラウド移行の目的">アプリケーションモダナイズの価値とは ～クラウド移行の目的～</h2> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>T3-3</td> <td>13:20 - 13:50</td> <td>アマゾン ウェブ サービス ジャパン株式会社<br/>シニアエバンジェリスト<br/>亀田 治伸 様</td> </tr> </tbody> </table> <p>要点</p> <ul> <li>データ基盤システムをクラウドに移行すると何が嬉しいのか？</li> <li>データを中心としたモダナイズとは？</li> </ul> <h3 id="モノリシック分解の重要性">モノリシック分解の重要性</h3> <p>簡素なアプリケーションをAPI連携で有機的に結合させること</p> <p>何故、データ分析基盤のクラウドネイティブ化が必要か?</p> <ul> <li>多様性の実現、データ分析は総力戦</li> <li>複数のロールや目的、視点でより多くのユーザーがデータにアクセスし、異なる方法で分析</li> </ul> <p>これがモダナイズの目的</p> <h3 id="オンプレミスの問題">オンプレミスの問題</h3> <p>クラウド移行により得られるビジネス価値(クラウドエコノミクス)</p> <ul> <li>インフラコストの削減(8%)</li> <li>スタッフの生産性(32%)</li> <li>頑強な オペレーション(13%)</li> <li>俊敏なビジネス(47%)</li> </ul> <p>→ クラウド移行により得られる価値の90%以上をインフラコスト削減以外の価値が占める</p> <ul> <li>オンプレミスでは利用需要に対するインフラコストの最適化が難しい</li> <li>成功するかわからないものに大きなインフラコストを投資するのはリスクがある</li> </ul> <!-- ### マネージドサービス ベンダーロックイン?? OSレイヤは抽象化される 1. 2. 3. マネージドデータベースサービスは1 これはAWS独自じゃない、 123をしっかり分けて考えれば、判断しやすい --> <h3 id="レガシーデータベースの制約">レガシーデータベースの制約</h3> <p>有償からOSSに移行すること考えているお客様が多い</p> <ul> <li>テクノロジーもロックインされやい</li> <li>ライセンスも高価</li> </ul> <p>しかし&hellip;</p> <ul> <li>費用は安いけど、信頼性に不安がある</li> <li>どこかの会社が責任を持つわけではなく、サポートに不安がある</li> <li>そもそもサポートを受けるのも大変</li> </ul> <h3 id="amazon-auroraで脱却">Amazon Auroraで脱却</h3> <ul> <li>クラウド向けに構築されたMySQLとPostgreSQL互換のリレーショナル データベース</li> <li>商用グレードのDBの性能と可用性を1/10のコストで実現</li> </ul> <h3 id="replatformにおけるdbの選択肢と移行">ReplatformにおけるDBの選択肢と移行</h3> <p>Amazon DMS</p> <ul> <li>これまでに300,000のデータベースが移行されている</li> <li>移行に関するドキュメント(マイグレーションプレイブック)の充実</li> </ul> <p>セットで動作するのがAWS Schema Conversion Tool</p> <h3 id="sap-on-aws">SAP on AWS</h3> <p>SAP</p> <ul> <li>AWSと強いパートナーシップ</li> <li>SAP on AWS 5000ユーザーを超える</li> </ul> <p>SAPとクラウドアーキテクチャをデータで結合</p> <ul> <li>アプリケーションレイヤーにSAP</li> <li>データを中心としてAWSの付随するサービスと疎結合型で連携する</li> </ul> <h3 id="連携の例amazon-forecast-with-sap-erp">連携の例：Amazon Forecast with SAP ERP</h3> <ul> <li>SAP ERP <ul> <li>SAP Data を Forecast APIに投入</li> </ul> </li> <li>Amazon Forecast <ul> <li>組み込みデータセットを投入</li> <li>機械学習モデルの自動生成</li> </ul> </li> </ul> <p>データを中心として疎結合型で連携</p>https://takeshima14.netlify.app/post/aws_innovate_data_edition_5/Sun, 22 Aug 2021 00:00:00 +0000https://takeshima14.netlify.app/post/aws_innovate_data_edition_5/<p>AWS Innovate – Data Editionのセッションを聴講した時のメモ その5</p> <p>リンク元：<a href="https://takeshima14.netlify.app/post/aws_innovate_data_edition">AWS Innovate – Data Edition 見てきました。</a></p> <h2 id="アクサダイレクトのデータ活用を強力に推進する仕組みとは">アクサダイレクトのデータ活用を強力に推進する仕組みとは</h2> <table> <thead> <tr> <th>セッション</th> <th>時間</th> <th>スピーカー</th> </tr> </thead> <tbody> <tr> <td>CUS2-6<br/>お客様事例</td> <td>15:20 - 15:50</td> <td>アクサ損害保険株式会社<br>データ&amp;テクノロジー本部 エンタープライズデータ部<br>岡崎 卓弥 様</td> </tr> </tbody> </table> <h3 id="アクサダイレクトについて">アクサダイレクトについて</h3> <ul> <li>保険及び資産運用サービス</li> <li>世界で1億以上のユーザー</li> <li>「デジタル化」を中核とする企業戦略</li> </ul> <h3 id="dx基盤作りの課題と背景">DX基盤作りの課題と背景</h3> <ul> <li>キャタピラ(コールセンターの電話システムの構築)</li> <li>バタフライ(契約管理、保険料収納等の基幹システムの構)</li> <li>ドラゴンフライ(事故対応・保険金請求等の システムの構築)</li> </ul> <p>全てのプロジェクトのデータはデータレイクに溜めてきた。</p> <p>表向きはデータ活用の基盤づくりが進んでいるように見えるが&hellip;</p> <!-- データレイクの内 - データスワンプ状態 - データエンジニア、データサイエンティストのみがデータを扱える状態 - 欲しいデータがどこにあるかわからない - レポートなど成果物は全てデータ部門で作成して管理する データレイクの外 - BIツールやExcelの乱立 - 維持管理に人的リソースがかかる - 社内ナレッジがたまらない --> <table> <thead> <tr> <th>データレイクの内</th> <th>データレイクの外</th> </tr> </thead> <tbody> <tr> <td><ul><li>データスワンプ状態</li><li>データエンジニア、データサイエンティストのみがデータを扱える状態</li><li>欲しいデータがどこにあるかわからない</li><li>レポートなど成果物は全てデータ部門で作成して管理する</li></ul></td> <td><ul><li>BIツールやExcelの乱立</li><li>維持管理に人的リソースがかかる</li><li>社内ナレッジがたまらない</li></ul></td> </tr> </tbody> </table> <h3 id="データレイクの再構築">データレイクの再構築</h3> <ul> <li>全てのエンドユーザーに最適な環境を提供する <ul> <li>Casual user</li> <li>Business analyst</li> <li>data scientist</li> </ul> </li> <li>BIツールは１つに局所化 → Amazon QuickSight</li> <li>Redshiftがビジネスレイヤーを担当</li> </ul> <p>Amazon QuickSighttを選んだ理由(他に3つ候補があった)</p> <ul> <li>ユーザー当たり単価が安い</li> <li>追加でストレージ等を用意しなくて良い</li> <li>データレイクはすでにAWS上に構築している → AWS内で完結するためセキュア</li> </ul> <h3 id="ユーザーを支援する仕組み">ユーザーを支援する仕組み</h3> <p>基盤を整理するだけでなく、使われるように浸透させる必要がある</p> <p><span style="font-weight: bold;">組織体制</span></p> <p>データマネジメントオフィス</p> <ul> <li>データ活用におけるルール・環境・文化醸成をリード <ul> <li>データポリシーやガイドラインの制定</li> <li>データ品質/メタデータ/アクセス権の管理</li> <li>データスチュワードのコミュニティを作り活動を支援</li> <li>データ活用促進のためビジネスユーザに必要なトレ ーニング・支援を行う</li> </ul> </li> </ul> <p>データスチュアード</p> <ul> <li>各部門から任命、所管するデータに関する高度な知識を有する専門家 <ul> <li>各部門のデータ活用をリード</li> <li>所管するデータのデータ品質/メタデータ/アクセス権の管理</li> <li>コミュニティへの参加</li> </ul> </li> </ul> <p>Amazon QuickSightサポート体制</p> <ul> <li>相談窓口やデータスチュアードへの質問、AWSサポートなどでレベル分けする</li> </ul> <p><span style="font-weight: bold;">ユーザーがデータに興味をもち、なるべく自走してデータ活用できる土壌を作る</span></p> <h3 id="今後の展開">今後の展開</h3> <ul> <li>データの拡充</li> <li>データスチュアード業務の高度化</li> <li>ユーザーのスキルアップ</li> </ul>