u++の備忘録

「Kaggle Days Tokyo」参加録

※ 「Kaggle Advent Calendar 2019」*1の12日目の記事です。

2019年12月11、12日に開催された「Kaggle Days Tokyo」*2に参加しました。1日目はワークショップとプレゼンテーション、2日目はオフラインコンペティションが開催されました。

資料や動画は恐らく公式から公開されると思うので、本記事では私の聴講した内容を基に、個人的な所感を述べます。なお1日目の内容はGunosyブログの記事*3Wantedlyブログの記事*4twitterまとめ*5に詳しく記載されています。

f:id:upura:20191212161627p:plain

1日目

Leveling-up Kaggle Competitions

Ben Hamner, Kaggle CTO

  • KaggleのCTOを務めるBenさんから、Kaggleの遍歴や今後の展望についてのお話でした
  • 深層学習の大躍進以前からKaggleを開催している歴史や、強化学習などの新たなコンペ形式を模索している話など、一人のKagglerとして興味深くお聞きしました
  • 「code competitionは実用性を意識している」といった、自分がおぼろげに感じていたことや疑問についてCTOの言葉を直接聞くことができる貴重な機会でした

Essential techniques for tabular competition

Kazuki Onodera

  • 特徴量エンジニアリングなどテーブルコンペに秀でたKaggle GrandmasterのOnoderaさんにから、テーブルデータの眺め方に関するお話でした
  • 強い方がどのようにデータを分析しているのか、単に手法やコードを示すのではなく「お気持ち」のような部分を感じ取れた素晴らしい発表でした

Hosting Kuzushiji the Competition

Tarin Clanuwat

  • Kaggleのくずし字認識コンペ*6の開催に携わったTarinさんによる熱意のこもった発表でした
  • 評価指標の選定理由やKaggle開催で得られたことなど、あまり世に出づらいお話がお聞きできました

Practical tips for handling noisy data and annotation

Ryuichi Kanoh

  • Kaggle MasterのKanohさんによる、主に画像コンペを対象としたノイズの多いデータの処理方法に関するワークショップでした
  • 資料*7やコード*8からもにじみ出ている圧倒的な実験回数や経験に裏付けされた、有益な知見が豊富なお話でした
  • こういった類いのワークショップは対象聴衆を見定めづらく難しいと思うのですが、随所に落ち着いた質疑応答を挟みながらの素晴らしいご講演でした

How to encode categorical features for GBDT

Ryuji Sakata (Jack)

  • Kaggle GrandmasterのJackさんによる、主にLightGBMにおけるカテゴリ変数の処理方法に関するお話でした
  • one-hot encoding, label encoding, LightGBMにおけるカテゴリ変数指定, target encodingの4つの手法に対して、何通りにも分かる比較実験を実施していました*9
  • あくまで今回の実験設定における話ではありますが数値に基づく議論が展開されており、今後のテーブルデータに取り組む上での道標となるようなお話でした

専業Kagglerの一年半 & LANL Earthquake Prediction 3rd Place Solution

Hideki Murata

  • 財務省を辞め「専業Kaggler」になったMurataさんによるお話でした
  • 前半では専業Kagglerになった経緯や経験談をユーモアを交えて展開し、後半では3位入賞した「地震コンペ」*10での取り組みをご紹介くださいました
  • 随所にてKaggleへの熱量や愛が伝わってくる発表でした

ML Modeling with AutoML Tables

Tin-Yun Ho & Da Huang

  • 「AutoML Tables」*11の開発者による、特徴や最近のリリースに関する紹介でした
  • デモも確認しましたが、思いのほか手軽に利用できそうで、面白いなと感じました

My Journey to Grandmaster: Success & Failure

Jin Zhan

  • Kaggle GrandmasterのJinさんによる、知見が詰まった非常に勉強になるお話でした
  • コンペ遍歴を振り返りつつ、過去のコンペから学んだKaggleの技法や考え方を網羅的に紹介してくださいました
  • 公開された資料*12は今後何度も読み返すことになると思います

How to succeed in code (kernel) competition

Dimitry Gordeev

  • 近年テーブルコンペ、特にKaggleのNotebooks環境にコードを記述する形式のコンペで圧倒的な成績を収めているKaggle GrandmasterのDimitryさんによる発表でした
  • メモリや時間制約のもとでどのように戦うか、考え方や具体的なTipsも交えてご解説くださいました
  • 懇親の場などで個人的により詳細な話も聞くことができ、とても勉強になりました

Kaggle Night Tokyo


2日目

2日目は、オフラインコンペティションが開催されたそうです。

おわりに

本記事では、2019年12月11、12日に開催された「Kaggle Days Tokyo」の個人的な所感を述べました。多くの知見が得られた刺激的な2日間でした。多くの方々と交流でき、研鑽のモチベーションが高まったイベントでした。