技術情報

TECH BLOG

• 2020-12-20

  • レコメンド

  レコメンド#2 Sparkで機械学習モデルを高速分散推論させる

  導入 レコメンドエンジン連載の第2回目です。 前回の「レコメンドって何？」はこちらを御覧ください。 Analytics Delivery Division Initiative Center機械学習担当の下野です。 Initiative Centerでは最新技術を用いて、分析の手法や環境を業務適用可能な品質で実現する活動しています。 SparkクラスタをKubernetes上に構築し、分析者はボタン1つで高速に自分専用の分析環境を立ち上げられるソリューションを開発しています。 KubernetesはEKSを使用しており、TerraformによりInfrastructure as...

• 2020-12-07

  データ分析におけるコーディング規約とフォーマッターの役割

  こんにちは。Customer Analytics Divisionでデータサイエンティストをしている高田です。Customer Analytics Divisionでは、KDDIやauに関連するサービスのデータ分析や、それに伴うコンサルティングを行っています。データ分析ではpandasやPySparkを使うことが多く、私含むデータサイエンティストの多くの方が毎日Pythonを書いています。 今回は、データ分析組織の業務効率向上を達成する過程でのコーディング規約の必要性、それに伴う取り組みであるフォーマッターの導入例をご紹介します。 コーディング規約はなぜ必要か...

• 2020-11-20

  • レコメンド

  レコメンド#1 　～レコメンドって何？～

  はじめまして、Marketing Solution Division所属の岩永と申します。Marketing Solution Divisionでは、主にKDDIグループ会社に対し、データ分析観点でのコンサルティング、ソリューションの提供などを行っています。 ARISEでは現在、新規ソリューションとしてレコメンドエンジンの開発を進めています。レコメンドエンジンと聞くとあまり馴染みのない方もいらっしゃるのではないかと思い、今回を含め全3回で、レコメンド自体の概要から、どのような仕組みを用いているのか、具体的にどのように大規模データを扱っているのかなどを紹介する予定です。...

• 2020-11-11

  Scala×SparkのUDFとウィンドウ関数を使って緯度経度データから2点間の距離を求める

  こんにちは、Marketing Solution Divisionの鴨居です。私は位置情報を扱う分析ソリューションの開発チームに1年ほど在籍したのちに現在のチームに移籍しました。前チームではScala×Sparkで位置情報データの分析・ロジック開発を行っていました。この記事では、Scala×Sparkを使った位置情報データ分析の例をご紹介したいと思います。 背景...

• 2020-10-30

  sparkパラメータ最適化チューニング

  こんにちは。Customer Analytics Division所属データサイエンティスト兼データエンジニアの渡邉です。ARISE analyticsでは数百人のデータサイエンティストが活躍しています。一般的な分析環境は、データサイエンティストがそれぞれEMRを立て、その上のsparkで分析を走らせています。ただ、その分日々の分析費用も大きいものとなっています。そこで、sparkパラメータ最適化にトライしました。 spark最適パラメータ計算法 こちらのAWSの記事に従って計算しました。一部のパラメータについて、絵で説明したいと思います。 spark.executor.cores...

• 2020-10-23

  コロナ禍における経済分析と位置情報の活用

  こんにちは、Social Innovation Divisionで位置情報分析を担当している高良と申します。今回は、コロナ禍における経済活動の分析と、それに対して位置情報がどのように活用されているかをご紹介します。 コロナ禍における経済分析の急速な蓄積 2020年初めから世界的に感染拡大が生じている新型コロナウィルス感染症は、各国の経済活動にとても大きな影響を与えてきました。IMF（International Monetary...

• 2020-10-16

  Multi-Object Trackingの精度評価指標

  Business Development Divisionでデータサイエンティストをしている秋元です。 今回はARISEの画像分析チームが取り組んでいる画像処理技術の一つであるMulti-Object Trackingについて、その評価指標を紹介します。 1.Multi-Object Trackingとは Multi-Object...

• 2020-09-25

  ARISE analytics流ギルド活動

  初めまして、Advanced Tech Divisionに所属している村瀬と申します。 Advanced Tech Divisionでは、多くの会社と協創しながら分析ソリューション案件を推進しております。 今回は、多くの案件を推進していく中で得られた暗黙知を形式知にしていくための活動をご紹介いたします。 背景と課題 ARISE...

• 2020-09-08

  ARISE library#1　〜エンジニア ＋ 総務 ＋データサイエンティストが携わる社内図書システム〜

  ARISE libraryとは こんにちは、新人エンジニアの森田です。ARISEでは自己研鑽として全社員が書籍・論文を自由に購入出来る制度があります。読了後はARISEの本棚に納付し社員全員で共有しています。この納付された本を管理する社内書籍管理システム”ARISE library”が社員に提供されています。実はこれ、自社内開発でシステムを提供してます。さらにデータサイエンティスト、エンジニア、総務が一緒になってARISE libraryの開発を行ってます。 この記事ではARISE...

• 2020-08-21

  分析モデルを商用化する際に考慮すべき5つのこと

  初めまして、Advanced Tech Divisionでデータエンジニアをしている對馬（つしま）です。 実証実験等の検証フェーズで構築した機械学習や深層学習を用いた分析モデルをシステムとして商用化する際に、どのようにシステムに組み込めば良いか戸惑うことはありませんか？ 今回は私自身のこれまでの経験(長くなるので今度紹介します)をもとに分析モデルを商用化する際に考慮すべきことを5つ書いていきます。 1. そのまま組み込めると思わない...