技術情報

Django REST Frameworkを使ってみる

はじめまして。Marketing Solution Divisionに所属している新人データサイエンティストの山嵜です。ARISE analyticsでは、データ分析を通して様々な企業のマーケティングのサポートを実施しております。その一環として、自社開発プロダクトのAnalytics Platform(APF)を導入して頂くことにより、機械学習を用いたマーケティングの内製化支援もしています。...

PylanceとVisual Studio Codeでバックエンドサーバを爆速開発

こんにちは。Marketing Solution Division(MSD)でAnalytics Platform(APF)を開発している山中です。MSDはデータ分析による顧客のマーケティングコンサルティング、機械学習マーケティング施策支援ツールの開発・導入支援を行っています。 今年の6月にリリースされたPylanceをAPF開発にも採用しており、日々その恩恵にあずかっています。今回はPylanceの素晴らしさを実際の業務で感じた点にフォーカスして皆さんに紹介したいと思います。 Pylanceとは？ PylanceはVisual Studio...

位置情報データを利用した日本全国での県境をまたぐ移動に関する詳細人流分析レポート

県境をまたぐ移動に関する詳細人流分析レポート（2021年1月）

GitHub Actionsは商用システムのCI/CDツールとして使えるか？！

Advanced Tech Divisionでデータエンジニアをしている對馬（つしま）です。前回は分析モデルを商用化する際に考慮すべき5つのこと について書かせて頂きましたが、今回は少し毛色を変えてCI/CDについて書かせて頂きます。CI/CDはGitHub Actions、CircleCI、Travis CI、AWS CodePipelineなど、様々なサービスが存在しますが、今回はGitHub Actionsの魅力や商用サービスのCI/CDサービスとして実用に耐えうるか、について簡単に書かせて頂きます。 GitHub Actionsの魅力 GitHub...

レコメンド#2 Sparkで機械学習モデルを高速分散推論させる

導入 レコメンドエンジン連載の第2回目です。 前回の「レコメンドって何？」はこちらを御覧ください。 Analytics Delivery Division Initiative Center機械学習担当の下野です。 Initiative Centerでは最新技術を用いて、分析の手法や環境を業務適用可能な品質で実現する活動しています。 SparkクラスタをKubernetes上に構築し、分析者はボタン1つで高速に自分専用の分析環境を立ち上げられるソリューションを開発しています。 KubernetesはEKSを使用しており、TerraformによりInfrastructure as...

データ分析におけるコーディング規約とフォーマッターの役割

こんにちは。Customer Analytics Divisionでデータサイエンティストをしている高田です。Customer Analytics Divisionでは、KDDIやauに関連するサービスのデータ分析や、それに伴うコンサルティングを行っています。データ分析ではpandasやPySparkを使うことが多く、私含むデータサイエンティストの多くの方が毎日Pythonを書いています。 今回は、データ分析組織の業務効率向上を達成する過程でのコーディング規約の必要性、それに伴う取り組みであるフォーマッターの導入例をご紹介します。 コーディング規約はなぜ必要か...

レコメンド#1 　～レコメンドって何？～

はじめまして、Marketing Solution Division所属の岩永と申します。Marketing Solution Divisionでは、主にKDDIグループ会社に対し、データ分析観点でのコンサルティング、ソリューションの提供などを行っています。 ARISEでは現在、新規ソリューションとしてレコメンドエンジンの開発を進めています。レコメンドエンジンと聞くとあまり馴染みのない方もいらっしゃるのではないかと思い、今回を含め全3回で、レコメンド自体の概要から、どのような仕組みを用いているのか、具体的にどのように大規模データを扱っているのかなどを紹介する予定です。...

Scala×SparkのUDFとウィンドウ関数を使って緯度経度データから2点間の距離を求める

こんにちは、Marketing Solution Divisionの鴨居です。私は位置情報を扱う分析ソリューションの開発チームに1年ほど在籍したのちに現在のチームに移籍しました。前チームではScala×Sparkで位置情報データの分析・ロジック開発を行っていました。この記事では、Scala×Sparkを使った位置情報データ分析の例をご紹介したいと思います。 背景...

sparkパラメータ最適化チューニング

こんにちは。Customer Analytics Division所属データサイエンティスト兼データエンジニアの渡邉です。ARISE analyticsでは数百人のデータサイエンティストが活躍しています。一般的な分析環境は、データサイエンティストがそれぞれEMRを立て、その上のsparkで分析を走らせています。ただ、その分日々の分析費用も大きいものとなっています。そこで、sparkパラメータ最適化にトライしました。 spark最適パラメータ計算法 こちらのAWSの記事に従って計算しました。一部のパラメータについて、絵で説明したいと思います。 spark.executor.cores...

コロナ禍における経済分析と位置情報の活用

こんにちは、Social Innovation Divisionで位置情報分析を担当している高良と申します。今回は、コロナ禍における経済活動の分析と、それに対して位置情報がどのように活用されているかをご紹介します。 コロナ禍における経済分析の急速な蓄積 2020年初めから世界的に感染拡大が生じている新型コロナウィルス感染症は、各国の経済活動にとても大きな影響を与えてきました。IMF（International Monetary...