業務でTableauを使用してデータをグラフやクロス集計表として可視化をしている、データサイエンティスト兼データエンジニア兼BIエンジニアです。今回は、Tableauで単にデータを可視化するだけでなく、ダッシュボードのデザインも考えるという少しオシャレな…

2021年10月17日、オンラインにてSECCON Beginners Live 2021に参加しました。connpass.com今回はCTF初心者向けのセッションとして、過去に出題された問題の解説を交えながらどのようにFlagを取得するのかという解説が盛りだくさんでした。最近は常設CTFにも…

はじめに WTH, 埼玉県のコロナ陽性確認者数のデータを使用して、Tableauのダッシュボードを更新し続けてたのに、県のサイトからcsvの元データがダウンロードできなくなっちゃった！ 多分、陽性者確認者数が多くなりすぎて集計しきれないのか？— махо учида(M…

はじめに どうも、最近の主な業務内容がデータマート構築＆Tableau職人のデータサイエンティストです。1年以上前にTableauで埼玉県のCOVID-19 陽性確認者数を可視化しましたが、2020年9月13日以来 一度も更新していなかったので久しぶりに更新しました。過去…

2021年5月4日、オンラインにてMicro Hardening v2に参加しました。（今更感がありますが、てっきり公開したと思ったら下書きを更新していただけで公開していませんでした汗）microhardening.connpass.comとある知り合いから、セキュリティに関する面白そうな…

2020年10月から参加していたAI Quest 2020が、2021年2月21日に修了しました。約5ヶ月間、仕事終わりや土日に課題をこなしてきたため、社会人の私にとって少しハードでしたがとても良い経験になりました。プログラムの具体的な内容は、今後開催されるAI Quest…

はじめに 2020年12月19日、オンラインにてSECCON 2020 電脳会議に参加しました。www.seccon.jpこのイベントでは、Room Aと Room Bというように2つのチャンネルに分かれてサイバーセキュリティに関するセッションが複数開かれていました。イベント自体は10:00…

はじめに 仕事でデータ集計を行うとき、ほぼBigQueryのクエリを書いて集計しています。様々な関数を使いこなせるようになりましたが、ときどきPythonだったら楽なのにな～という集計があります。例えば、横持ちのデータを縦持ちにしたいときです。DBで横持ち…

はじめに 9月から新しい案件を担当することになり、実務としては初めてGCP(Google Cloud Platform)を使ってます。これを機に、私用の個人アカウントでもGCPを触って練習し始めるようになりました。適当にデータセットを作ってテーブルやビュー、永続関数を作…

はじめに 今までSurface Pro 3のメモリ4GBで頑張っていたのですが、流石に限界を感じたので2ヶ月ほど前にMacBook Proを購入しました笑 ちなみに、メモリは16GBにしたのでSurfaceの4倍です。ただ、macOSの仕様やキーボードに慣れていなかったり、Surfaceはタ…

2020年6月20日、第10回 意思決定のためのデータ分析勉強会 onlineというイベントに参加しました。ishikettei.connpass.comデータ分析や機械学習に関する勉強会には、今までもよく参加していたのですが、意思決定に重点を置いた勉強会は久しぶりでした。この…

はじめに 知り合いから、サイバーセキュリティに関する面白いサイトを教えてもらいました。ちなみに、サイトは英語です。xss-game.appspot.comこのサイトでは、クロスサイトスクリプティングという攻撃手法を学びながら、Webアプリケーションの脆弱性を見つ…

Twitterで、この本の著者である、江崎貴裕さんのツイートで本のことを知りました。データ分析のための数理モデル入門 本質をとらえた分析のために作者:江崎貴裕発売日: 2020/05/29メディア: Kindle版 数理モデルに関しては、前から大学時代の知識と合わせて…

Pythonのライブラリの一つ、Pandasはデータサイエンスに欠かせないものです。Pandasの中でも、read_csvはデータサイエンスの勉強をしている方やデータサイエンティストの方にとって、特に馴染みのある関数かと思います。read_csvを初めて聞いた人向けに説明…

はじめに よく、TwitterやLinkedInでデータサイエンスや機械学習の情報収集をしているのですが、こんなものを見つけました。 Announcing PyCaret 1.0.0 https://towardsdatascience.com/announcing-pycaret-an-open-source-low-code-machine-learning-librar…

2020年4月16日、Deep Learning Labが主催したAIオンラインLT#0全員リモート！？トライアル開催というイベントに参加しました。dllab.connpass.comこのイベントはタイトルにもある通り、オンライン(Microsoft Teams)での開催でした。参加人数は100人以上で、L…

きっかけ Tableauの使い方をマスターするために、埼玉県の公式サイトからデータを持ってきてデータ接続をしようとしました。a7xche.hatenablog.com 公表されているデータを、てっきりCSVファイルでダウンロードできると思っていましたが、ファイルがPDF形式…

はじめに タイトルにある通り、埼玉県における新型コロナウイルスの陽性確認者のデータを可視化しました。半年くらい前に会社でTableauのセミナーを受講したのですが、最近触っていませんでした。Tableauは大量のデータを可視化するのに便利なツールなので、…

会社の先輩から教えてもらったscreenコマンドが便利で、リモートワークをするときにとても役立つので、自分のメモとしてまとめます。screenコマンドの役割と使い方は後述しますが、使ったことがない＆初めて知った方はぜひ使ってみてください！ 使うようにな…

2020年2月6日、株式会社エウレカで第2回 データアーキテクト（データ整備人）を”前向きに”考える会というイベントに参加しました。analytics-and-intelligence.connpass.comこの会は、データ抽出・加工・整備を行うデータアーキテクトと呼ばれるポジションの…

2020年1月26日、日本マイクロソフト株式会社でPyLadies Tokyoが主催するPython + OpenCVの勉強会に参加してきました。PyLadiesとは、Pythonが好きな女性のためのコミュニティであり、全世界に各支部があるそうです。日本には、東京・京都・沖縄の3つの支部が…

2019年12月21日と22日の2日間、秋葉原でSECCON 2019 Akihabaraが開催されています。 このイベントでは、サイバーセキュリティに関するカンファレンス、ワークショップ、展示が行われています。 また、SECCON CTF 2019と呼ばれるセキュリティの技術を競う大会…

2019年12月11日と12日の2日間、"Kaggle Days Tokyo"に参加してきました。 kaggledays.com Kaggle Daysとは、 2018年から始まった、年に4～5回行われるKaggleのオフラインイベントです。 会場となる国・地域はイベントごとに異なり、今回は東京で開催されまし…