【Kaggle Advent Calendar 2024】2024 年に開催された Kaggle コンペ振り返り

「Kaggle Advent Calendar 2024」の 1 日目の記事では、2024 年に開催された Kaggle コンペを振り返ります。

コンペで扱うデータの種類の年次推移

Kaggle に関するデータがまとめられた公式データセット「Meta Kaggle」を用いて、コンペティションで扱うデータの種類について年次推移を出力します。 Python のソースコードと実行結果は以下の通りです。ただし、メダルやポイントの対象となるコンペに限定しました。 Meta Kaggle の仕様上、開催中のコンペはデータセットに含まれていません。「year」はコンペの終了年を指し、2024 年 11 月末時点での実行結果を表示しました。

ソースコード

import pandas as pd


def load_df():
    competitions_df = pd.read_csv('../input/meta-kaggle/Competitions.csv')
    competition_tags_df = pd.read_csv('../input/meta-kaggle/CompetitionTags.csv')
    tags_df = pd.read_csv('../input/meta-kaggle/Tags.csv')
    return competitions_df, competition_tags_df, tags_df


def concat_df(competitions_df, competition_tags_df, tags_df):
    competitions_df = competitions_df.query('CanQualifyTiers==True')[['Id', 'Title', 'DeadlineDate']]
    competitions_df['DeadlineDate'] = pd.to_datetime(competitions_df['DeadlineDate'])
    competitions_df['year'] = competitions_df['DeadlineDate'].dt.year.values

    tags_df = tags_df[tags_df['FullPath'].str.contains('data type|analysis|task|technique')]
    tags_df = pd.merge(tags_df,
                       competition_tags_df,
                       left_on='Id',
                       right_on='TagId',
                       suffixes=('_tags', '_comps'))
    competitions_df = pd.merge(competitions_df[['Title', 'DeadlineDate', 'Id', 'year']],
                               tags_df[['CompetitionId', 'Name', 'FullPath']],
                               how='left',
                               left_on='Id',
                               right_on='CompetitionId')
    competitions_df = competitions_df.sort_values('DeadlineDate')
    return competitions_df.reset_index(drop=True)


def convert_category(name):
    if name != name:
        return name
    elif (name == 'nlp') or ('text' in name):
        return 'text'
    elif 'image' in name:
        return 'image'
    else:
        return name


competitions_df, competition_tags_df, tags_df = load_df()
df = concat_df(competitions_df, competition_tags_df, tags_df)
df['Category'] = df['Name'].map(lambda x: convert_category(x))
df_filtered = df[df['Category'].isin(['audio', 'graph', 'image', 'multimodal', 'tabular', 'text', 'video'])][['Title', 'Category', 'year']].drop_duplicates()
pd.crosstab(df_filtered['year'], df_filtered['Category'])

year / Category	audio	graph	image	multimodal	tabular	text	video
2013	0	0	0	0	1	1	0
2015	0	0	2	0	20	1	0
2016	0	0	6	0	18	1	0
2017	0	0	12	0	8	4	0
2018	0	0	10	0	5	2	1
2019	1	0	14	0	8	4	1
2020	1	0	10	0	4	4	1
2021	2	0	12	0	4	5	1
2022	1	0	9	0	8	7	1
2023	2	1	7	0	8	5	1
2024	1	0	5	1	4	9	0

2024 年で最も多かったのは、テキスト（text）を題材にしたコンペでした。 2022 年末に ChatGPT が登場して以降の大規模言語モデルの盛り上がりを表している面もあるかもしれません。次いで多かったのは、画像（image）と表（tabular）でした。年次推移を見ると、画像は 2017 年ごろから急速にコンペ数が増えています。表は昔から継続して開催されていることが読み取れます。

なお詳細の説明は割愛しますが、自然言語処理コンペを中心に、データの種類に関するタグが付いていない場合が多かったので、ルールベースでまとめ上げました。たとえば「analysis > nlp」や「task > text-classification」などのタグを含むコンペに対して「data type > text」のタグも付与されていると見なしています。具体的な処理は、ソースコードを参照してください。

データの種類ごとの振り返り

データの種類ごとに、2024 年に終了したコンペを振り返ります。

テキスト

2024 年に終了したテキストを扱ったコンペは以下の 9 つでした。大規模言語モデルを題材にした課題が目立ちました。

Linking Writing Processes to Writing Quality
- タイピングの挙動から、エッセイの品質を予測
LLM - Detect AI Generated Text
- 大規模言語モデルで生成されたテキストかを判定
LLM Prompt Recovery
- 大規模言語モデルの出力から指示（prompt）を再現
The Learning Agency Lab - PII Data Detection
- テキストから個人に関連する情報を特定
AI Mathematical Olympiad - Progress Prize 1
- LaTeX 形式で書かれた数学問題を解くモデルを開発
Learning Agency Lab - Automated Essay Scoring 2.0
- 学生の小論文を採点
LMSYS - Chatbot Arena Human Preference Predictions
- 大規模言語モデルを搭載したチャットボットの回答から、ユーザの嗜好を予測
USPTO - Explainable AI for Patent Professionals
- 特許文書の集合を抽出できるような検索クエリを生成
LLM 20 Questions
- Yes/No で答えられる 20 個の質問で秘密の単語を当てるゲームに取り組む対戦型のコンペ