技術情報

TECH BLOG

• 2020-11-20

  • レコメンド

  レコメンド#1 　～レコメンドって何？～

  はじめまして、Marketing Solution Division所属の岩永と申します。Marketing Solution Divisionでは、主にKDDIグループ会社に対し、データ分析観点でのコンサルティング、ソリューションの提供などを行っています。 ARISEでは現在、新規ソリューションとしてレコメンドエンジンの開発を進めています。レコメンドエンジンと聞くとあまり馴染みのない方もいらっしゃるのではないかと思い、今回を含め全3回で、レコメンド自体の概要から、どのような仕組みを用いているのか、具体的にどのように大規模データを扱っているのかなどを紹介する予定です。...

• 2020-11-11

  • PySpark

  Scala×SparkのUDFとウィンドウ関数を使って緯度経度データから2点間の距離を求める

  こんにちは、Marketing Solution Divisionの鴨居です。私は位置情報を扱う分析ソリューションの開発チームに1年ほど在籍したのちに現在のチームに移籍しました。前チームではScala×Sparkで位置情報データの分析・ロジック開発を行っていました。この記事では、Scala×Sparkを使った位置情報データ分析の例をご紹介したいと思います。 背景...

• 2020-10-30

  • PySpark

  sparkパラメータ最適化チューニング

  こんにちは。Customer Analytics Division所属データサイエンティスト兼データエンジニアの渡邉です。ARISE analyticsでは数百人のデータサイエンティストが活躍しています。一般的な分析環境は、データサイエンティストがそれぞれEMRを立て、その上のsparkで分析を走らせています。ただ、その分日々の分析費用も大きいものとなっています。そこで、sparkパラメータ最適化にトライしました。 spark最適パラメータ計算法 こちらのAWSの記事に従って計算しました。一部のパラメータについて、絵で説明したいと思います。 spark.executor.cores...

• 2020-10-23

  • ARISE Tech Blog

  コロナ禍における経済分析と位置情報の活用

  こんにちは、Social Innovation Divisionで位置情報分析を担当している高良と申します。今回は、コロナ禍における経済活動の分析と、それに対して位置情報がどのように活用されているかをご紹介します。 コロナ禍における経済分析の急速な蓄積 2020年初めから世界的に感染拡大が生じている新型コロナウィルス感染症は、各国の経済活動にとても大きな影響を与えてきました。IMF（International Monetary...

• 2020-10-16

  • ARISE Tech Blog

  Multi-Object Trackingの精度評価指標

  Business Development Divisionでデータサイエンティストをしている秋元です。 今回はARISEの画像分析チームが取り組んでいる画像処理技術の一つであるMulti-Object Trackingについて、その評価指標を紹介します。 1.Multi-Object Trackingとは Multi-Object...

• 2020-09-25

  • ARISE Tech Blog

  ARISE analytics流ギルド活動

  初めまして、Advanced Tech Divisionに所属している村瀬と申します。 Advanced Tech Divisionでは、多くの会社と協創しながら分析ソリューション案件を推進しております。 今回は、多くの案件を推進していく中で得られた暗黙知を形式知にしていくための活動をご紹介いたします。 背景と課題 ARISE...

• 2020-09-08

  • ARISE Tech Blog

  ARISE library#1　〜エンジニア ＋ 総務 ＋データサイエンティストが携わる社内図書システム〜

  ARISE libraryとは こんにちは、新人エンジニアの森田です。ARISEでは自己研鑽として全社員が書籍・論文を自由に購入出来る制度があります。読了後はARISEの本棚に納付し社員全員で共有しています。この納付された本を管理する社内書籍管理システム”ARISE library”が社員に提供されています。実はこれ、自社内開発でシステムを提供してます。さらにデータサイエンティスト、エンジニア、総務が一緒になってARISE libraryの開発を行ってます。 この記事ではARISE...

• 2020-08-21

  • ARISE Tech Blog

  分析モデルを商用化する際に考慮すべき5つのこと

  初めまして、Advanced Tech Divisionでデータエンジニアをしている對馬（つしま）です。 実証実験等の検証フェーズで構築した機械学習や深層学習を用いた分析モデルをシステムとして商用化する際に、どのようにシステムに組み込めば良いか戸惑うことはありませんか？ 今回は私自身のこれまでの経験(長くなるので今度紹介します)をもとに分析モデルを商用化する際に考慮すべきことを5つ書いていきます。 1. そのまま組み込めると思わない...

• 2020-07-20

  • Flutter

  Flutter#1 〜ARISE analyticsのプロジェクトでFlutterを採用してみました〜

  初めまして、Advanced Tech Divisionでモバイルエンジニアをしている酒井です。最近モバイル界隈で盛り上がっているFlutterを、ARISEのプロジェクトでも採用しており、なかなか良いなと思っているので、記事を書いていこうと思います（がんばって連載にしたい）。 盛り上がってきたのが割と最近ということもあり、特に日本語の記事があまり無いので（最近少しづつ増えてきた）、プロジェクトで発見した実践的なTipsなどをまとめていきたいと思います。今日は初回ということで、そもそもFlutterとはなにか？そしてなぜFlutterを採用したのか？あたりを書いていきます。...