はじめに

近年、様々な場面でレコメンドシステムが活用されています。代表的な例として、Amazonのレコメンデーション機能が挙げられます。Amazonでは、ある商品のページを開くと、「よく一緒に購入されている商品」や「この商品に関連する商品」が表示されていると思います。これは、これまでのAmazon利用ユーザーの属性や行動履歴に基づいて、各ユーザーに最適な商品をレコメンドしているのです。このようなレコメンドシステムは、NetflixやYoutubeなどの動画配信サービスでも広く用いられています。ユーザーの属性や視聴履歴に基づいて、おすすめの映画や動画を薦められたことがある人も少なくないでしょう。このように、レコメンドシステムは今や多くのサービスにおいて欠かせない技術となっています。


私は以前からレコメンドシステムに少し興味を持っていました。また、データベースやベクトルデータベースについて調べる中で、ベクトルデータベースがレコメンドシステムに活用されているということを知り、ベクトルデータベース自体にも興味を持つようになりました。そこで本記事では、楽天トラベルの宿泊施設データを活用し、ChromaDBというベクトルデータベースを用いた簡易的なレコメンドシステムの実装について、自身の検証結果をベースに解説します。
今回の実装では、Rakuten Web serviceの楽天トラベル系APIから宿泊施設データを取得しました。しかし、Rakuten Web serviceには、他にも楽天市場や楽天ブックスなどのAPIも用意されていますし、実装される際は自身の好みで様々なデータをご利用ください。
https://webservice.rakuten.co.jp/documentation
また、本記事では、昨今話題のLLMにも触れています。
本記事の対象は以下の通りです。

• Python初学者～中級者
• レコメンドシステムに興味がある方
• ベクトル検索やベクトルデータベースに興味のある方

用語の説明

ここでは、本記事で扱う重要用語の説明を簡単に行います。

• レコメンドシステム（推薦システム）
  ユーザーの属性や過去の行動などに基づいて、各ユーザーに最適な商品・サービスを提案する仕組み
• ベクトル検索
  テキストや画像、音声などのデータをベクトルに変換し、数学的に計算された類似性を元にデータを効率的に検索する手法
• Embedding（埋め込み）
  テキストや画像などのデータを数値ベクトルに変換する技術
• ベクトルデータベース
  テキストや画像、音声などのデータをベクトルとして扱い、そのベクトルデータを保存・検索するためのデータベース
• ChromaDB
  Chromaという会社が提供しているベクトルデータを効率的に保存し、高速に検索するためのデータベース
  https://www.trychroma.com/

使用した環境やデータ

今回検証に用いたデータは楽天トラベル系APIを叩いて取得しました。本記事では、このAPIの利用方法などは割愛させていただきますが、参考になるサイトを紹介いたします。

OpenAIのAPIを使用した理由などは特にありません。GeminiのAPIを利用しても同じことが実現できます。
https://openai.com/ja-JP/api/

実装・結果

1. ライブラリの準備やAPIキーの設定

!pip install chromadb

import requests
import numpy as np
import pandas as pd
import chromadb
from google.colab import userdata
from openai import OpenAI
# 楽天APIのキー設定
REQUEST_URL = 'https://app.rakuten.co.jp/services/api/Travel/SimpleHotelSearch/20170426'
APP_ID = userdata.get('APP_ID')
# OpenAIのキー設定
open_ai_key = userdata.get('OPENAI_API_KEY')
client = OpenAI(api_key=open_ai_key)

APIのキーは各自で発行したキーをご利用ください。

2. データの準備

例えば、大阪府大阪市の宿泊施設情報を取得するには以下のように実装します。

params = {
    'format': 'json',
    'largeClassCode': 'japan',
    'middleClassCode': 'osaka',
    'smallClassCode': 'shi',
    'detailClassCode': 'B',
    'applicationId': APP_ID,
    'hits': 30    # 1回のリクエストで最大30件しか取得できない。
}

※パラメーターの指定方法に関して、詳しくは公式サイトをご参照ください。
https://webservice.rakuten.co.jp/documentation/simple-hotel-search
1回のリクエストで30件の施設しか取得できないため、for文を回します。

df_list = []
for page in range(1, 3):
    params["page"] = page
    res = requests.get(REQUEST_URL, params)
    if res.status_code == 200:
      result = res.json()
      hotels = result['hotels']
      for i, hotel in enumerate(hotels):
          hotel_info = hotel['hotel'][0]['hotelBasicInfo']
          df_list.append(hotel_info)
    else:
      print(f'Error: API request failed with status code {res.status_code}')
      break
df_osaka = pd.DataFrame(df_list)

df_osaka = df_osaka[['hotelNo', 'hotelName', 'hotelSpecial', 'hotelMinCharge', 'latitude', 'longitude', 'postalCode', 'address1', 
                     'address2', 'telephoneNo', 'access', 'nearestStation', 'reviewCount', 'reviewAverage', 'userReview']]
df_osaka.head(3)

特定の地域に偏ったデータだけでは、多様なクエリに対して適切な推薦結果を得るのが難しいと考えため、大阪府に加え、関西各県（兵庫、京都、滋賀、奈良、和歌山）の宿泊施設情報も、それぞれ60件ずつ取得し、ひとつのデータフレームに統合しました。

df = pd.concat([df_osaka, df_kobe, df_kyoto, df_ootsu, df_nara, df_wakayama], axis=0)
df = df.reset_index(drop=True)
df['address'] = df['address1'] + df['address2']

また、県名と市区町村名が別々になっていたので、一つにまとめました。

3. OpenAIのAPIを用いてhotelSpecialカラムをEmbedding

ここでは、hotelSpecialという宿泊施設の簡単な説明が書いてあるカラムをEmbedding（ベクトル化）します。

# 各施設のhotelSpecialカラムをベクトル化
def get_embedding(text, model="text-embedding-3-small"):
    response = client.embeddings.create(input=text, model=model)
    return response.data[0].embedding
df["embedding_pre"] = df["hotelSpecial"].apply(get_embedding)

4. chromaDBにデータを格納

そして、ベクトル化したデータを格納するために、chromaDBというベクトルデータベースを利用します。アウトプットとしては、ユーザーの入力した希望条件（例：「海に近い宿」「大都市にあるホテル」など）に対して、適切な宿泊施設を複数件レコメンドできるようにすることを目指しています。ここでは精度を図るために、クエリ文の内容に近い宿泊施設を10件出力し、何件がそのクエリ文の条件に適合しているのかを見ています。
以下でベクトルデータベースを作成しています。

chroma_client_pre = chromadb.PersistentClient(path="./chroma_store/hotel_pre")
collection_pre = chroma_client_pre.get_or_create_collection(name='hotel_pre')

collection_pre.add(
    ids=[str(i+1) for i in range(len(df))],
    documents=df['hotelSpecial'].tolist(),
    embeddings=np.vstack(df['embedding_pre'].values).astype('float32'),
    metadatas=df[['hotelName', 'hotelMinCharge', 'address']].to_dict(orient='records')
)

例えば、「近くに海がある宿に泊まりたい」というクエリ文を用意し、この内容に近い宿を類似度が高い順に10件検索するには、次のように実行します。

# クエリ文をベクトル化
query = "近くに海がある宿に泊まりたい"
query_vec = get_embedding(query)
# 類似宿を検索
results = collection_pre.query(
    query_embeddings=[query_vec],
    n_results=10
)
# 結果表示
chroma_records_a = []
for distance, metadata, document in zip(results['distances'][0], results['metadatas'][0], results['documents'][0]):
    chroma_records_a.append({
        'ホテル名': metadata.get('hotelName'),
        '住所': metadata.get('address'),
        'hotelSpecial': document,
        '距離': distance,
    })
chroma_result_df1 = pd.DataFrame(chroma_records_a)
chroma_result_df1

指定したクエリ文との類似性が最も高い10件を表示させましたが、うち6件は実際には海から離れた場所にある宿でした。（奈良県や滋賀県には海がない）
また、「大都市のホテルに泊まりたい」というクエリ文も用意しました。

# クエリ文をベクトル化
query = "大都市のホテルに泊まりたい"
query_vec = get_embedding(query)
# 類似宿を検索（距離ベースの近さ）
results = collection_pre.query(
    query_embeddings=[query_vec],
    n_results=10
)
# 結果表示（距離が小さいほど近い）
chroma_records_b = []
for distance, metadata, document in zip(results['distances'][0], results['metadatas'][0], results['documents'][0]):
    chroma_records_b.append({
        'ホテル名': metadata.get('hotelName', ''),
        '住所': metadata.get('address', ''),
        'hotelSpecial': document,
        '距離': distance,
    })
chroma_result_df2 = pd.DataFrame(chroma_records_b)
chroma_result_df2

この中で、大都市かつホテルという条件を満たしているのは、10件中3件のみでした。（大阪、神戸、京都を大都市とする）
このことから、hotelSpecialカラムだけでは宿泊施設の特徴を示す情報としては不十分であると考えました。そこで今回はLLM（大規模言語モデル）を活用して、2次情報を付け加えることにしました。

5. LLMを活用して宿泊施設の情報を追加する

以下の処理では、OpenAIのAPI経由でLLMを利用し、宿泊施設に関する情報を追加しています。その追加した情報はdescriptionカラムに格納します。

df['description'] = ""   # 結果を格納する新しい列を作成
for index, row in df.iterrows():
    hotel_name = row['hotelName']
    address = row['address']
    try:
        # APIリクエスト
        response = client.responses.create(
            model='gpt-4o',
            input='以下の宿泊施設の特徴を日本語で100文字程度で要約してください',
            instructions=(
                f'対象の施設は、{address}にある「{hotel_name}」です。'
                '生成する文章には、施設名や地名などの位置情報を絶対含めないでください。'
                '主に宿泊施設の特徴や雰囲気、サービス内容に焦点を当ててください。'
                )
        )
        summary = response.output_text
        df.at[index, 'description'] = summary
        print(f"{index+1}件目完了: {hotel_name}")
    except Exception as e:
          print(f"{index+1}件目エラー: {hotel_name}, エラー内容: {e}")

pd.set_option('display.max_colwidth', None)
df[['hotelName', 'hotelSpecial' ,'description']].head(3)

※注意

LLMによって生成された情報には、ハルシネーション（事実とは異なる内容）が含まれる可能性があります。情報の取り扱いには十分ご注意ください。

6. LLMで追加した情報（description）をEmbedding

# 各施設のhotelSpecialカラムをベクトル化
def get_embedding(text, model="text-embedding-3-small"):
    response = client.embeddings.create(input=text, model=model)
    return response.data[0].embedding
df["embedding_post"] = df["description"].apply(get_embedding)

7. 6でEmbeddingしたデータをchromaDBに格納

chroma_client_post = chromadb.PersistentClient(path="./chroma_store/hotel_post")
collection_post = chroma_client_pre.get_or_create_collection(name='hotel_post')

collection_post.add(
    ids=[str(i+1) for i in range(len(df))],
    documents=df['description'].tolist(),
    embeddings=np.vstack(df['embedding_post'].values).astype('float32'),
    metadatas=df[['hotelName', 'hotelMinCharge', 'address']].to_dict(orient='records')
)

4で実施した「近くに海がある宿に泊まりたい」というクエリ文を再度用意し、この内容に近い宿を類似度が高い順に10件検索します。

# クエリ文をベクトル化
query = "近くに海がある宿に泊まりたい"
query_vec = get_embedding(query)
# 類似宿を検索
results = collection_post.query(
    query_embeddings=[query_vec],
    n_results=10
)
# 結果表示
chroma_records_c = []
for distance, metadata, document in zip(results['distances'][0], results['metadatas'][0], results['documents'][0]):
    chroma_records_c.append({
        'ホテル名': metadata.get('hotelName'),
        '住所': metadata.get('address'),
        'description': document,
        '距離': distance,
    })
chroma_result_df3 = pd.DataFrame(chroma_records_c)
chroma_result_df3

上記の検索結果から、10件中10件の宿が実際に海の近くに位置していることがわかります。
また、再度「大都市のホテルに泊まりたい」というクエリ文も用意しました。

# クエリ文をベクトル化
query = "大都市のホテルに泊まりたい"
query_vec = get_embedding(query)
# 類似宿を検索（距離ベースの近さ）
results = collection_post.query(
    query_embeddings=[query_vec],
    n_results=10
)
# 結果表示（距離が小さいほど近い）
chroma_records_d = []
for distance, metadata, document in zip(results['distances'][0], results['metadatas'][0], results['documents'][0]):
    chroma_records_d.append({
        'ホテル名': metadata.get('hotelName', ''),
        '住所': metadata.get('address', ''),
        'description': document,
        '距離': distance,
    })
chroma_result_df4 = pd.DataFrame(chroma_records_d)
chroma_result_df4

この中で、大都市かつホテルという条件を満たしているのは、10件中6件でした。

考察・まとめ

本記事では、楽天トラベルAPIを用いて取得した宿泊施設データをもとに、ベクトルデータベースであるChromaDBとLLMを活用した、簡易的なレコメンドシステムの構築を実施しました。
特に注目すべき点として、LLMによって宿泊施設情報を補足・追加することがレコメンド精度の向上に有効であるということを確認できました。

ここからは私の見解になるのですが、最初のhotelSpecialカラムと、LLMによって追加されたdescriptionカラムの情報の質的な違いが、検索結果の精度に大きな違いを与えていたのではないかと考えています。hotelSpecialカラムでは、施設側が発信するプロモーション的な情報や表面的な施設の特徴が中心に書かれていました。一方で、LLMによって生成されたdescriptionカラムには、客観的な特徴だけでなく、顧客の体験やどの人たちに向いているかなど、主観ベースに説明が書かれていました。このように、検索対象の情報にユーザー視点が加わることで、検索クエリとの接点が増え、結果としてレコメンド精度向上につながったのではないかと考えます。
ベクトルデータベースは、レコメンドシステム以外にもRAGの構築などに活用されています。自分自身もベクトルデータベースについてもっと学びたいと思いました。

宣伝

弊社ではデータ基盤策定からLLMまで、お客様にあったプロセスでの提案とご支援が可能です、お気軽にお問合せください。

また、中途採用やインターンの問い合わせもお待ちしています！