技術情報

データ分析におけるコーディング規約とフォーマッターの役割

こんにちは。Customer Analytics Divisionでデータサイエンティストをしている高田です。Customer Analytics Divisionでは、KDDIやauに関連するサービスのデータ分析や、それに伴うコンサルティングを行っています。データ分析ではpandasやPySparkを使うことが多く、私含むデータサイエンティストの多くの方が毎日Pythonを書いています。 今回は、データ分析組織の業務効率向上を達成する過程でのコーディング規約の必要性、それに伴う取り組みであるフォーマッターの導入例をご紹介します。 コーディング規約はなぜ必要か...

レコメンド#1 　～レコメンドって何？～

はじめまして、Marketing Solution Division所属の岩永と申します。Marketing Solution Divisionでは、主にKDDIグループ会社に対し、データ分析観点でのコンサルティング、ソリューションの提供などを行っています。 ARISEでは現在、新規ソリューションとしてレコメンドエンジンの開発を進めています。レコメンドエンジンと聞くとあまり馴染みのない方もいらっしゃるのではないかと思い、今回を含め全3回で、レコメンド自体の概要から、どのような仕組みを用いているのか、具体的にどのように大規模データを扱っているのかなどを紹介する予定です。...

Scala×SparkのUDFとウィンドウ関数を使って緯度経度データから2点間の距離を求める

こんにちは、Marketing Solution Divisionの鴨居です。私は位置情報を扱う分析ソリューションの開発チームに1年ほど在籍したのちに現在のチームに移籍しました。前チームではScala×Sparkで位置情報データの分析・ロジック開発を行っていました。この記事では、Scala×Sparkを使った位置情報データ分析の例をご紹介したいと思います。 背景...

sparkパラメータ最適化チューニング

こんにちは。Customer Analytics Division所属データサイエンティスト兼データエンジニアの渡邉です。ARISE analyticsでは数百人のデータサイエンティストが活躍しています。一般的な分析環境は、データサイエンティストがそれぞれEMRを立て、その上のsparkで分析を走らせています。ただ、その分日々の分析費用も大きいものとなっています。そこで、sparkパラメータ最適化にトライしました。 spark最適パラメータ計算法 こちらのAWSの記事に従って計算しました。一部のパラメータについて、絵で説明したいと思います。 spark.executor.cores...

コロナ禍における経済分析と位置情報の活用

こんにちは、Social Innovation Divisionで位置情報分析を担当している高良と申します。今回は、コロナ禍における経済活動の分析と、それに対して位置情報がどのように活用されているかをご紹介します。 コロナ禍における経済分析の急速な蓄積 2020年初めから世界的に感染拡大が生じている新型コロナウィルス感染症は、各国の経済活動にとても大きな影響を与えてきました。IMF（International Monetary...

Multi-Object Trackingの精度評価指標

Business Development Divisionでデータサイエンティストをしている秋元です。 今回はARISEの画像分析チームが取り組んでいる画像処理技術の一つであるMulti-Object Trackingについて、その評価指標を紹介します。 1.Multi-Object Trackingとは Multi-Object...

ARISE Kaggle部活動記

ARISE analyticsの長谷井です。ARISE Kaggle部の活動記へようこそ！ 我々は世界的に知名度の高いKaggleを中心に、国内外の分析コンペティションへ参加し、上位ランクインを目指して頑張っています。今後Kaggle部の活動記を連載していきますので、どうぞよろしくお願いします。 Kaggle部は2020年9月現在、参加人数は約30名。業務に支障のない範囲で楽しく活動中です。 今まで参加したコンペは下記の通りです。 M5 Forecasting - Accuracy @ Kaggle (398/5598 銅ランク) 対戦ゲームデータ分析甲子園　＠prob.space（参加中）...

ARISE analytics流ギルド活動

初めまして、Advanced Tech Divisionに所属している村瀬と申します。 Advanced Tech Divisionでは、多くの会社と協創しながら分析ソリューション案件を推進しております。 今回は、多くの案件を推進していく中で得られた暗黙知を形式知にしていくための活動をご紹介いたします。 背景と課題 ARISE...

位置情報データを利用した日本全国での県境をまたぐ移動に関する詳細人流分析レポート

県境をまたぐ移動に関する詳細人流分析レポート（2020年8月）

ARISE library#1　〜エンジニア ＋ 総務 ＋データサイエンティストが携わる社内図書システム〜

ARISE libraryとは こんにちは、新人エンジニアの森田です。ARISEでは自己研鑽として全社員が書籍・論文を自由に購入出来る制度があります。読了後はARISEの本棚に納付し社員全員で共有しています。この納付された本を管理する社内書籍管理システム”ARISE library”が社員に提供されています。実はこれ、自社内開発でシステムを提供してます。さらにデータサイエンティスト、エンジニア、総務が一緒になってARISE libraryの開発を行ってます。 この記事ではARISE...