データサイエンス&サイバーセキュリティ備忘録

Python, Data Science, Kaggle, Cyber Security, CTF, などなど

第2回 データアーキテクト(データ整備人)を”前向きに”考える会に参加しました

2020年2月6日、株式会社エウレカで第2回 データアーキテクト(データ整備人)を”前向きに”考える会というイベントに参加しました。

analytics-and-intelligence.connpass.com

この会は、データ抽出・加工・整備を行うデータアーキテクトと呼ばれるポジションのスキルやノウハウについて発表者が話してみんなで考える会です。

現在、私はデータサイエンティストとして働いていますがデータの抽出や集計も業務の一部として行っているため、とても興味深くてぜひ参加したいと思い、応募しました。

この会は非常に人気なため、抽選でしたが当選したので参加することができました。

実際にお話を聞いてみて、共感したところや勉強になったことが多かったので、発表者ごとに内容をまとめたいと思います。

しんゆう さん

タイトル

抽出や集計の依頼を受ける時に気を付けていること

内容
  • データ抽出を行うときは、

   1. 依頼内容をしっかり聞き、
   2. 具体的な納期を依頼者から確認し、
   3. 依頼内容とデータを鵜呑みにしない

  • データ抽出の目的は、データを使ってやりたいことを実現すること
  • データ抽出の依頼を受けて本当に求められているのが、データ・分析・提案のどれなのか確認する
  • データ抽出の依頼を受けたとき、"やっぱりこのデータも欲しい"というのを見越しておく
  • データ自体の納期確認だけでなく、依頼者がいつまでに何が知りたいのかも聞く

speakerdeck.com

スマホで見ている方はこちらからどうぞ↓
https://speakerdeck.com/shinu/maemuki-data-seibinin02

mida さん

タイトル

データエンジニアとデータアナリストを兼任して良かったこと

内容
  • データの流れは、データソース⇒分析基盤⇒集計・分析⇒意思決定
  • 分析要求の流れは、意思決定⇒集計・分析⇒分析基盤⇒データソース
  • データエンジニアが担当するのは、データソースを分析基盤に落とすこと
  • データアナリストが担当するのは、データの集計と分析を行って意思決定をすること
  • データエンジニアとデータアナリストの前提知識が違うため齟齬が発生しやすく、作業のタイムロスが発生してしまう
  • データエンジニアとデータアナリストを兼任していると、データを把握しているから、分析をするためのデータ加工や追加のデータ抽出などをスムーズに行うことができる
  • チームで作業している場合、メンバーに対してデータの意味や分析の情報を同時に提供できる

www.slideshare.net

sotaron さん

タイトル

データの価値を失わないためのData Reliability Engineeringについて

内容
  • データ整備も大事だが、正確な分析をするためにはデータ自体の品質や信頼性(= Reliability)も大事
  • Data Reliability Engineering(DRE)の定義はどこかの機関が定めたわけではない
  • sotaronさんにとってDREとは、以下を保つこと

   1. データの完全性
   2. データの一貫性
   3. データの新鮮さ
   4. データの可用性

  • DREは、正しい意思決定をするために必要
  • DREをするには、最初にサービスレベルの設計をして、開発・改善・モニタリングを繰り返す

speakerdeck.com

スマホで見ている方はこちらからどうぞ↓
https://speakerdeck.com/tanakarian/detafalsejia-zhi-woshi-wanaitamefalsedata-reliability

ぶんけい さん

タイトル

意思決定に繋がる Intelligence とは

内容
  • 世の中のデータ量が増加しているのに対して、国内のIT人材はまだ不足しているのに関わらず、経営者や上司を納得させないと意味がない
  • 経営者や上司を納得させるには、+αの価値を提供できるようにする
  • データを集めても、意思決定ができないとそのデータの価値は無い
  • データを活用するためには、数値データと地図データといったような複数のデータを組み合わせ、誰が見てもすぐに言いたいことが分かるようにする(= Intelligence)
  • Intelligence = Insight + Intuition
  • ちょっとした工夫や作業でIntelligenceに

まとめ

この会では、各発表者からデータ抽出・加工だけでなく、データの運用や可視化のコツまで学ぶことができました。

今までデータアーキテクトについて深く考えずに業務をこなしてきたので、今回学んだことを活かしていきたいと思います。

ちなみに、connpassでは第3回 データアーキテクト(データ整備人)を”前向きに”考える会の参加者を募集しています。

人気のため抽選となっていますが、おすすめなのでぜひ。

私は次回も抽選枠で応募したので、また当たるのを願うばかりです、、、!

analytics-and-intelligence.connpass.com