ACTIVITIES 技術関連活動

オフライン環境でのVSCodeを使ったSpark開発環境構築

皆さんこんにちは、Marketing Solution Divisionの伊藤です。私は2020年の4月に新卒として入社し、研修期間終了後に現在のチームに配属されました。現在は、KDDIの位置情報データを活用し、マーケティング対象の店舗に立ち寄りそうな顧客を予測するシステムを制作しております。 このプロジェクトでは、位置情報や顧客の個人情報という秘匿性

Scala×SparkのUDFとウィンドウ関数を使って緯度経度データから2点間の距離を求める

こんにちは、Marketing Solution Divisionの鴨居です。私は位置情報を扱う分析ソリューションの開発チームに1年ほど在籍したのちに現在のチームに移籍しました。前チームではScala×Sparkで位置情報データの分析・ロジック開発を行っていました。この記事では、Scala×Sparkを使った位置情報データ分析の例をご紹介したいと思います。

sparkパラメータ最適化チューニング

こんにちは。Customer Analytics Division所属データサイエンティスト兼データエンジニアの渡邉です。ARISE analyticsでは数百人のデータサイエンティストが活躍しています。一般的な分析環境は、データサイエンティストがそれぞれEMRを立て、その上のsparkで分析を走らせています。ただ、その分日々の分析費用も大きいものとなってい

Contact Us

ご依頼・お問い合わせなど
お気軽にご連絡ください

お問い合わせする

Contact Us

ご依頼・お問い合わせなど
お気軽にご連絡ください

お問い合わせする