データサイエンス&サイバーセキュリティ備忘録

Python, Data Science, Kaggle, Cyber Security, CTF, などなど

公式ドキュメントにない方法で、BigQueryにあるデータセット内の全てのテーブル・ビューの情報を取得してみた

はじめに 9月から新しい案件を担当することになり、実務としては初めてGCP(Google Cloud Platform)を使ってます。ある日、取り扱っているデータの量が膨大で使用していないデータセットがあるかもしれないということで、BigQueryにあるデータセットを整理す…

Twitterでいいねしたtweetを自動でSlackに投げてみた

はじめに 今までSurface Pro 3のメモリ4GBで頑張っていたのですが、流石に限界を感じたので2ヶ月ほど前にMacBook Proを購入しました笑 ちなみに、メモリは16GBにしたのでSurfaceの4倍です。ただ、macOSの仕様やキーボードに慣れていなかったり、Surfaceはタ…

第10回 意思決定のためのデータ分析勉強会 onlineに参加しました

2020年6月20日、第10回 意思決定のためのデータ分析勉強会 onlineというイベントに参加しました。ishikettei.connpass.comデータ分析や機械学習に関する勉強会には、今までもよく参加していたのですが、意思決定に重点を置いた勉強会は久しぶりでした。この…

Webアプリケーションの脆弱性を突くゲームをやってみた

はじめに 知り合いから、サイバーセキュリティに関する面白いサイトを教えてもらいました。ちなみに、サイトは英語です。xss-game.appspot.comこのサイトでは、クロスサイトスクリプティングという攻撃手法を学びながら、Webアプリケーションの脆弱性を見つ…

おすすめ書籍: データ分析のための数理モデル入門 本質をとらえた分析のために

Twitterで、この本の著者である、江崎貴裕さんのツイートで本のことを知りました。データ分析のための数理モデル入門 本質をとらえた分析のために作者:江崎貴裕発売日: 2020/05/13メディア: 単行本数理モデルに関しては、前から大学時代の知識と合わせてネッ…

Pandasのread_csvは、ただ単にデータが読み込めるだけではない

Pythonのライブラリの一つ、Pandasはデータサイエンスに欠かせないものです。Pandasの中でも、read_csvはデータサイエンスの勉強をしている方やデータサイエンティストの方にとって、特に馴染みのある関数かと思います。read_csvを初めて聞いた人向けに説明…

PythonのMLライブラリ、PyCaretを使ってみた

はじめに よく、TwitterやLinkedInでデータサイエンスや機械学習の情報収集をしているのですが、こんなものを見つけました。 Announcing PyCaret 1.0.0 https://towardsdatascience.com/announcing-pycaret-an-open-source-low-code-machine-learning-librar…

AIオンラインLT#0全員リモート!?トライアル開催に参加しました

2020年4月16日、Deep Learning Labが主催したAIオンラインLT#0全員リモート!?トライアル開催というイベントに参加しました。dllab.connpass.comこのイベントはタイトルにもある通り、オンライン(Microsoft Teams)での開催でした。参加人数は100人以上で、L…

PythonでPDFの表を読み込み、ExcelまたはCSVファイルで出力する

きっかけ Tableauの使い方をマスターするために、埼玉県の公式サイトからデータを持ってきてデータ接続をしようとしました。a7xche.hatenablog.com 公表されているデータを、てっきりCSVファイルでダウンロードできると思っていましたが、ファイルがPDF形式…

Tableauで埼玉県におけるCOVID-19の陽性確認者のデータを可視化をしてみた(4/7/2020 9:40 pm 時点 公表データ)

はじめに タイトルにある通り、埼玉県における新型コロナウイルスの陽性確認者のデータを可視化しました。半年くらい前に会社でTableauのセミナーを受講したのですが、最近触っていませんでした。Tableauは大量のデータを可視化するのに便利なツールなので、…

Linuxの便利コマンド、screenコマンドを使ってみた

会社の先輩から教えてもらったscreenコマンドが便利で、リモートワークをするときにとても役立つので、自分のメモとしてまとめます。screenコマンドの役割と使い方は後述しますが、使ったことがない&初めて知った方はぜひ使ってみてください! 使うようにな…

第2回 データアーキテクト(データ整備人)を”前向きに”考える会に参加しました

2020年2月6日、株式会社エウレカで第2回 データアーキテクト(データ整備人)を”前向きに”考える会というイベントに参加しました。analytics-and-intelligence.connpass.comこの会は、データ抽出・加工・整備を行うデータアーキテクトと呼ばれるポジションの…

Python + OpenCVの勉強会に参加しました

2020年1月26日、日本マイクロソフト株式会社でPyLadies Tokyoが主催するPython + OpenCVの勉強会に参加してきました。PyLadiesとは、Pythonが好きな女性のためのコミュニティであり、全世界に各支部があるそうです。日本には、東京・京都・沖縄の3つの支部が…

攻撃自動検知モデルを作成するワークショップに参加しました

2019年12月21日と22日の2日間、秋葉原でSECCON 2019 Akihabaraが開催されています。 このイベントでは、サイバーセキュリティに関するカンファレンス、ワークショップ、展示が行われています。 また、SECCON CTF 2019と呼ばれるセキュリティの技術を競う大会…

Kaggle Days Tokyoに参加しました

2019年12月11日と12日の2日間、"Kaggle Days Tokyo"に参加してきました。 kaggledays.com Kaggle Daysとは、 2018年から始まった、年に4~5回行われるKaggleのオフラインイベントです。 会場となる国・地域はイベントごとに異なり、今回は東京で開催されまし…