言語処理100本ノック 2020「34. 名詞の連接」

問題文

nlp100.github.io

問題の概要

「30. 形態素解析結果の読み込み」で作成したデータ構造から、データを取り出します。抽出条件は最長一致の名詞の連接です。

品詞を前から見ていき、次の順に処理します。

1. リスト res, tmpを用意
2. 条件分岐
   • 名詞の場合は、リストtmpに格納
   • 名詞ではなくリストtmpの大きさが2以上の場合は、tmpの内容を基にresへ保存。tmpを空にする
   • 名詞ではなくリストtmpの大きさが1以下の場合は何もしない

def parse_mecab(block):
    res = []
    for line in block.split('\n'):
        if line == '':
            return res
        (surface, attr) = line.split('\t')
        attr = attr.split(',')
        lineDict = {
            'surface': surface,
            'base': attr[6],
            'pos': attr[0],
            'pos1': attr[1]
        }
        res.append(lineDict)


def extract_noun_noun(block):
    res = []
    tmp = []
    for b in block:
        if b['pos'] == '名詞':
            tmp.append(b['surface'])
        elif len(tmp) >= 2:
            res.append(''.join(tmp))
            tmp = []
        else:
            tmp = []
    return res


filename = 'ch04/neko.txt.mecab'
with open(filename, mode='rt', encoding='utf-8') as f:
    blocks = f.read().split('EOS\n')
blocks = list(filter(lambda x: x != '', blocks))
blocks = [parse_mecab(block) for block in blocks]
ans = [extract_noun_noun(block) for block in blocks]
print(ans)