FlyDataのデータのセキュリティに関する取り組みについて

Handling Data Security at FlyData

この記事ではFlyDataのあなたのデータの取り扱いについてのセキュリティの取り組みとポリシーについて説明します。もし、FlyData Cloudを経由してデータが転送される際に何が起きているのか、そしてどのようにして私たちがあなたのデータを守っているのかについて疑問がある場合、この記事がお役に立つでしょう! 転送中のデータ FlyData Directをご利用の場合でも、FlyData Agentをご利用の場合でも、2048ビットのRSAキーを使用した256ビットAES暗号化に基づいた標準OpenSSLを使用しています。Amazon S3やAmazon RedshiftなどのすべてのアウトバウンドサービスはAWS SDKを使用しており、暗号化がデフォルトで有効化されています。もしAgentをご利用の場合、Agentは私たちのフロントエンドサービスとAgent側で利用可能な最適な暗号化とハッシュアルゴリズムを使用します。フロントエンドサービスは安全でない暗号を無効化しています。 保存データ FlyDataはあなたのデータを以下の目的のため、一定期間FlyData Cloudのサーバにバッファします。 データ変換の実行 データのS3とRedshiftへの準備 エンドポイントのサービスが停止している場合の対策 データはパフォーマンスのため、暗号化されずにバッファされますが、データの保存期間はエンドポイントが停止している場合を除いて、ごく短い期間に限られます。データ処理用のサーバは、いかなる状態においてもパブリックネットワークには公開されておらず、FlyDataのオペレーション担当者が2段階認証を使用しない限りアクセスできように厳密に制限されています。 インフラストラクチャーへのアクセス FlyDataのインフラへのアクセスは標準OpenSSHキーを使用した2段階認証のVPNトンネルで制限されています。 証明書 FlyDataカンパニーは米国商務省 セーフハーバー プログラム( the U.S.-EU Safe Harbor Framework as set forth by the U.S. Department of Commerce) を取得済みです。セーフハーバー プログラムとFlyDataの証明書についてもっと詳しく知りたい場合は、 http://www.export.gov/safeharbor/をご確認ください。

もっと読む

AuroraからRedshiftへのレプリケーションが可能に

Replicate Aurora to Redshift

Amazon AuroraからAmazon Redshiftへの(自動的な)データ同期 FlyData Syncにおいて、私たちはAmazon AuroraからAmazon Redshiftへのデータ同期(複製)のサポートを開始しました。そう、今やあなたはデータ分析とレポート作成において、Redshiftだけでなく、Amazon Auroraの利点を利用することができるようになったのです。FlyData Syncの設定をするだけで、Amazon Auroraのデータを自動的にAmazon Redshiftに複製することができます。その結果として、複雑なデータ移行プロセスに多くの時間を割くことなく、あなたのビッグデータ分析をいつでも実行することができます。FlyData Syncをりようすることで、もし万が一Amazon Auroraに複数のデータベースが含まれていても、ひとつのAmazon Redshiftにすべてのデータを集めてクエリを一箇所で実行することができます。 Amazon Auroraとは? Amazon AuroraはAmazon Web Service(AWS)が提供するハイパフォーマンスなRDBです。その性能は低コストながら、他の商用データベースと比較しても高速で、高い可用性もっています。さらに、Amazon AuroraはMySQLとの高い互換性を備えているため、バックエンドにMySQLを利用している多くの企業で採用する選択肢に上がっています。 AuroraとAmazon Redshiftのデータ同期方法について MySQLだけでなく、Amaozn AuroraからのAmazon Redshiftへのデータ同期についても、バナリログ(binlog)を監視することにより、FlyData Syncは変更データキャプチャ(Change Data Capture、CDC、differential data capture) となります。CDCを使用することで、すべてのデータベースをダンプしRedshiftにアップロードするにも基本的には莫大な時間を必要としません。こうすることで、すべてのあなたのデータについて、いつでも分析が可能となるのです。 しかし、なぜAuroraとRedshiftのデータ同期が必要となるのでしょう? Auroraが基本的にハイパフォーマンスなMySQLだとするならば、なぜAmazon Redshiftが必要となるのでしょう?その使い方にポイントがあります。Auroraはトランザクション処理に優れた行指向型データベースです。しかし、Amazon Redshiftのような列指向データベースでは、莫大なデータのBIのような分析プロセスに適しています。想定されるアプリケーションが全く異なっているのです。私たちのあるお客様は、従来10時間かかっていたデータ分析のレポート作成が、Amazon RedshiftとFlyDataを利用することで、たった1分に短縮されたとききました。もし、あなたがデータ分析にバッチプロセスを使用しているなら、それがAmazon Redshiftを(そして多分FlyDataも!)利用すべき理由となるのです。 つまり… すでにAmazon Auroraを使用していて、Amazon Redshift上でBIデータ分析を実行してみたいとお考えなら、FlyDataのフリートライアルにサインアップし、あなたの会社のエンジニアリングとビジネスにFlyDataがマッチするか、ぜひお試しください。 具体的な手順 では、どのようにしてAmazon AuroraのデータをRedshiftに同期するのか、ちょっとみてみましょう。すでにAuroraのクラスタとRedshiftのインスタンスがあなたの環境に設定済みであるとします。最初にすることは、2つのDBパラメータグループを作成することです。RDSとは異なり、Auroraには2種類のDBパラメータグループがあります。(1)cluster DB parameter groupと(2)DB parameter group (インスタンスレベル)ですFlyData用にそれぞれのカスタムパラメータグループを新しく作成し、以下のように変更します。Cluster DB parameter groupは以下のように変更します。DB parameter […]

もっと読む

FlyDataを利用した、MongoDBデータのAmazon Redshiftへのアップロード方法

How to Upload MongoDB data into Amazon Redshift Using FlyData

はじめに Mongo DBはドキュメント指向データベースであり、もっともポピュラーなNoSQLデータベースのひとつです。Mongo DBの利点はスキーマレスであり、最初に厳密にデータベースのスキーマを設計する必要がないことです。さらに、保存されるデータはJSONライクなデータで構成されるため、開発者がプログラムの中で処理するのに便利なフォーマットとなっています。 しかし、保存やアクセスが簡単な一方、データが大きくなったり件数が増えてくると、許容可能な時間内にクエリの実行結果を取得するのが難しくなってきます。このような背景から、私たちはMongoDBのユーザから何度か、MongoDBからAmazon Redshiftへの簡単なデータ投入方法について尋ねられました。 このチュートリアルでは、FlyData Autoloadを使用して、MongoDBからAmazon Redshiftへデータを転送する方法を説明します。FlyData AutoloadはJSONフォーマットをサポートしているので、あなたは簡単にMongoDBからエクスポートしたデータをアップロードすることができるでしょう。もし、あなたがMongoDBのデータをAmazon Redhisftで分析することを検討している場合にも、このチュートリアルは役に立つと思います。 必要条件 始める前に、(1) FlyDataアカウント、 (2) テストデータのあるMongoDBサーバ (3) FlyData AgentをインストールするLinuxサーバ、の3つが必要となります。 準備: FlyDataアカウント もしあなたがFlyDataアカウントをお持ちでない場合、こちら からサインアップできます(アカウント登録は無料です)。 MongoDB FlyData AgentをインストールするLinuxサーバ もしテストデータがない場合、MongoDBのウェブページからサンプルのデータセットをインポートすることができます ( http://docs.mongodb.org/manual/tutorial/aggregation-zip-code-data-set/ )。このチュートリアルはこのサンプルデータを使って説明していきます。 # mongoDBのzipダンプファイルをダウンロード $ curl -L http://media.mongodb.org/zips.json?_ga=1.201356177.1291086112.1430178289 > zips.dump # zips.dumpをあなたのMongoDBへインポート mongoimport –host –port –username –password –collection zips –db test –file zips.dump サンプルデータは以下のようになります。 { “_id” : […]

もっと読む

Syncの手法:FlyData DirectとFlyData Agent

FlyData Direct これは FlyData Sync を利用するにあたって、もっとも新しいご提案です。これはまた、もっとも簡単なので、現在デフォルトのオプションとなっています。追加のインフラを設定する必要はありません。一度設定するとすぐに、私たちはあなたのMySQLインスタンスからデータを取得するためのプロセスをFlyData Cloudで起動し、実行します。 これにはひとつ、必要な条件があります。それは、あなたのMySQLインスタンスがパブリックアクセス可能である必要があるということです。セキュリティグループの設定は、あなたのアカウントで設定されたRedshiftクラスタのリージョンごとに指定されるIPアドレスで、厳密に制限されます。また、設定すれば、安全なデータ転送のため、標準のSSL暗号化を使用します(Amazon RDSについてはデフォルトで有効化されています)。 FlyData Agent これは FlyData Sync の最初の方法であり、現在でも多くのお客様が利用している方法です。この方法の主な利点は、あなたのMySQLインスタンスをプライベートなサブネットのVPCやファイアウォールの内側においたままで、FlyData Syncのサービスを利用できるということです。しかし、この方法ではお客様自身でFlyData Agentのソフトウェアのインストール、運用(さらバージョンアップも)を行う必要があるという、オペレーションコストがかかります。これはとても面倒なことになる場合があります。 それでも、厳格なセキュリティポリシーがある場合や、MySQLインスタンスに対してパブリックなIPを割り当てたりしたくない場合、このオプションを選択することができます。 どちらの方法にしても、私たちはあなたが監視するように設定したデータだけを取得し、その他のデータには一切アクセスしません。

もっと読む

99designsがFlyData Syncを選んだ理由 – Customer Success Story

99designs

99designsのデータアナリスト、ガレス・ティリーさんへインタビューしました。何がFlyDataを導入する決め手になったのか、一緒に学んでみましょう。 FlyData: では、まずはじめに自己紹介をお願いします。 Gareth: こんにちは、99designsデータ分析の責任者、ガレス・ティリーです。主に経営戦略に必要なデータをまとめ、分析することが私の仕事です。 FlyData: 99designsはどういったビジネスを行っているのですか? Gareth: 99designsはオンラインでグラフィックデザインの売買を行うプラットホームです。この業界では世界最大規模を誇っています。2008年にオーストラリアのメルボルンで起業し、今ではアメリカのカリフォルニア州、ブラジルのリオデジャネイロ、ドイツのベルリンへとオフィスを拡大し、100人以上の従業員が働くまでに成長しました FlyData: ガレスさんはデータ分析のトップということですが、99designsではどういう風にデータを経営戦略に生かしているのですか? Gareth: 99designsのどのチームもデータ分析に重点を置いていて、例えば戦略の為に必要なコストとその戦略から得られる利益の分析、オペレーションの簡略化の為にデータ分析するなど、事業の根幹をデータ分析によって支えています 特にマーケティングはその中でも一番データ分析に依存してますね。それぞれのマーケティングキャンペーンをいち早く分析し改善に移さなければならないので。 Example of design at 99designs(Image Credit: Bathi https://99designs.com/profiles/489015) FlyData: データ分析は99designsにとって非常に重要なのですね。では、Amazon Redshiftを導入して何か変わったことはありますか? Gareth: はい、Amazon Redshiftを導入したことによって、今までデータをクエリするのにかかっていた無駄な時間が大幅に短縮されました。以前はデータ容量が大きいと、30分以上経っても全く結果が返ってこなかったのに対し、Amazon Redshiftではたったの数分で返してくれるので、すぐに知見を得ることができるようになりました。大切なデータが大容量の為使えなかったのですが、今ではAmazon Redshiftで早くクエリできるようになり、とても助かっています。 FlyData: Amazon Redshiftによって早くデータを得ることができるようになったということですが、Redshiftを使う上で何か問題があったのですか? Gareth: そうですね、99designsでは数多くのデータベースを使っています。多数の様々なアプリケーションからのデータを、分析のために一箇所に集めなければいけなかったことが問題でした。 FlyDataでひとつのRedshiftインスタンスにデータを統合する以前は、複数バラバラにあったデータベースから手動でデータを取り出し、Redshiftに統合しなければなりませんでした。さらに、データ統合をするための知識も必要だったので、たくさんのエンジニアの時間と無駄な労力がかかっていました。すぐにデータから知見を得て経営戦略に生かそうとしても、肝心なデータへアクセスするのに手間が掛かり、データ分析を必要とする99designsにとって、このことは次第に社内でも重大な問題になっていきました。 FlyData: なるほど、そこでFlyDataを使うことにしたのですね。 Gareth: はい、そうです。FlyDataは99designsにとって非常に役に立っています。FlyData Syncで複数に散らばっていたデータベースを一つのRedshiftインスタンスに統合することができ、誰でも簡単にデータを引き出せるようになりました。リアルタイムでMySQLからRedshiftにデータを集めてくれるので、すぐに必要な情報を取り出し、経営に生かすことができます。FlyDataを導入して良かったです。 FlyData: ありがとうございます。FlyDataのコストについてはいかがでしたか? Gareth: FlyDataは他社の製品に比べてもリーズナブルで、他社の1/4のコストで導入できました。 FlyData: では最後に、御社のビジネスの成長に大事なものとはなんでしょうか? Gareth: そうですね、99designsのエグゼクティブチームはデータ分析から得られる知見を元に経営を行っています。ワールドワイドにビジネスを行っているので、データをきちんと集めそれを分析しまとめる、そしてそのデータに基づいた戦略を立てるということはビジネスをするにあたって、とても大事なことだと思います。 FlyData: ガレスさん、今回はインタビューに協力いただき本当にありがとうございました。

もっと読む

Redshiftへのデータ移行を自動化しませんか?

FlyDataを活用してリアルタイムでのビッグデータ分析を実現しましょう!