技術情報

2021-03-12

オフライン環境でのVSCodeを使ったSpark開発環境構築

皆さんこんにちは、Marketing Solution Divisionの伊藤です。私は2020年の4月に新卒として入社し、研修期間終了後に現在のチームに配属されました。現在は、KDDIの位置情報データを活用し、マーケティング対象の店舗に立ち寄りそうな顧客を予測するシステムを制作しております。このプロジェクトでは、位置情報や顧客の個人情報という秘匿性が高い情報を扱うため、セキュリティの観点からインターネットから隔離された分析環境でシステムの開発環境を構築する必要がありました。さらに、システムの処理や開発方針決定のための分析にApache...

2021-03-04

レコメンド

レコメンド#3 GPUで近似近傍探索を行うことで大規模データの計算時間を、12時間から50分へ約1/12に削減したお話

この記事はレコメンドエンジン連載の第3回目になります。前回までの記事はこちらを御覧ください。レコメンド#1 ～レコメンドって何？～レコメンド#2 Sparkで機械学習モデルを高速分散推論させるはじめまして、Marketing Solution Division所属の野尻と申します。19年度にARISEに新卒入社してから約1年間レコメンドエンジンの開発を担当しています。今回は商品間の類似距離を計算する際に近似近傍探索×PySparkを用いることで、大量の商品に対しての計算時間を当初の12時間から50分まで、大幅に削減したお話をします。背景と課題最近傍探索について...

2021-02-05

Django REST Frameworkを使ってみる

はじめまして。Marketing Solution Divisionに所属している新人データサイエンティストの山嵜です。ARISE analyticsでは、データ分析を通して様々な企業のマーケティングのサポートを実施しております。その一環として、自社開発プロダクトのAnalytics Platform(APF)を導入して頂くことにより、機械学習を用いたマーケティングの内製化支援もしています。...

2021-01-22

PylanceとVisual Studio Codeでバックエンドサーバを爆速開発

こんにちは。Marketing Solution Division(MSD)でAnalytics Platform(APF)を開発している山中です。MSDはデータ分析による顧客のマーケティングコンサルティング、機械学習マーケティング施策支援ツールの開発・導入支援を行っています。今年の6月にリリースされたPylanceをAPF開発にも採用しており、日々その恩恵にあずかっています。今回はPylanceの素晴らしさを実際の業務で感じた点にフォーカスして皆さんに紹介したいと思います。 Pylanceとは？ PylanceはVisual Studio...

2020-12-25

GitHub Actionsは商用システムのCI/CDツールとして使えるか？！

Advanced Tech Divisionでデータエンジニアをしている對馬（つしま）です。前回は分析モデルを商用化する際に考慮すべき5つのことについて書かせて頂きましたが、今回は少し毛色を変えてCI/CDについて書かせて頂きます。CI/CDはGitHub Actions、CircleCI、Travis CI、AWS CodePipelineなど、様々なサービスが存在しますが、今回はGitHub Actionsの魅力や商用サービスのCI/CDサービスとして実用に耐えうるか、について簡単に書かせて頂きます。 GitHub Actionsの魅力 GitHub...

2020-12-20

レコメンド

レコメンド#2 Sparkで機械学習モデルを高速分散推論させる

導入レコメンドエンジン連載の第2回目です。前回の「レコメンドって何？」はこちらを御覧ください。 Analytics Delivery Division Initiative Center機械学習担当の下野です。 Initiative Centerでは最新技術を用いて、分析の手法や環境を業務適用可能な品質で実現する活動しています。 SparkクラスタをKubernetes上に構築し、分析者はボタン1つで高速に自分専用の分析環境を立ち上げられるソリューションを開発しています。 KubernetesはEKSを使用しており、TerraformによりInfrastructure as...

2020-12-07

データ分析におけるコーディング規約とフォーマッターの役割

こんにちは。Customer Analytics Divisionでデータサイエンティストをしている高田です。Customer Analytics Divisionでは、KDDIやauに関連するサービスのデータ分析や、それに伴うコンサルティングを行っています。データ分析ではpandasやPySparkを使うことが多く、私含むデータサイエンティストの多くの方が毎日Pythonを書いています。今回は、データ分析組織の業務効率向上を達成する過程でのコーディング規約の必要性、それに伴う取り組みであるフォーマッターの導入例をご紹介します。コーディング規約はなぜ必要か...

2020-11-20

レコメンド

レコメンド#1 　～レコメンドって何？～

はじめまして、Marketing Solution Division所属の岩永と申します。Marketing Solution Divisionでは、主にKDDIグループ会社に対し、データ分析観点でのコンサルティング、ソリューションの提供などを行っています。 ARISEでは現在、新規ソリューションとしてレコメンドエンジンの開発を進めています。レコメンドエンジンと聞くとあまり馴染みのない方もいらっしゃるのではないかと思い、今回を含め全3回で、レコメンド自体の概要から、どのような仕組みを用いているのか、具体的にどのように大規模データを扱っているのかなどを紹介する予定です。...

2020-11-11

Scala×SparkのUDFとウィンドウ関数を使って緯度経度データから2点間の距離を求める

こんにちは、Marketing Solution Divisionの鴨居です。私は位置情報を扱う分析ソリューションの開発チームに1年ほど在籍したのちに現在のチームに移籍しました。前チームではScala×Sparkで位置情報データの分析・ロジック開発を行っていました。この記事では、Scala×Sparkを使った位置情報データ分析の例をご紹介したいと思います。背景...

2020-10-30

sparkパラメータ最適化チューニング

こんにちは。Customer Analytics Division所属データサイエンティスト兼データエンジニアの渡邉です。ARISE analyticsでは数百人のデータサイエンティストが活躍しています。一般的な分析環境は、データサイエンティストがそれぞれEMRを立て、その上のsparkで分析を走らせています。ただ、その分日々の分析費用も大きいものとなっています。そこで、sparkパラメータ最適化にトライしました。 spark最適パラメータ計算法こちらのAWSの記事に従って計算しました。一部のパラメータについて、絵で説明したいと思います。 spark.executor.cores...

タグから探す

TECH BLOG