Encyclopedia of Desireとは？
Googleにはユーザーが検索ボックスに入力した文字列に基づいて、検索しようとしている事柄をリアルタイムに予測して候補を表示する「オートコンプリート」と呼ばれる機能があります。これは2008年ごろからからGoogleに搭載された機能で、モバイルデバイスなどの文字入力が面倒な端末を使っている時に、最低限の文字入力で検索したいワードをお勧めするといったユーザーの利便性の向上などを目的にデザインされた機能であると言われています。
Googleによれば、オートコンプリートに表示される候補キーワードは 「他のユーザーが検索しているキーワード」「ご利用の地域で人気を集めているトピック」などを元に人間の関与なしに独自のアルゴリズムによって1日と通して自動的に変化するとされています。つまりGoogleが持つ大量の検索クエリーからそれぞれの地域において、その時点で最も検索される可能性が高いものを入力されたキーワードに応じて予測してくれる仕組み、というわけです。
この予測メカニズムが非常に面白いのは、「a」のような、たった1文字の入力からも結果を予測してくれることです。例えば、試しに東京で日本語設定にしたブラウザでGoogleにaといれると「Amazon」「ana」といったキーワードが予測されますが、英語設定でaといれると「airbnb」「apple」といったキーワードが予測されます。
同じ地域からでも、言語設定によって予測される結果が異なるのは非常に興味深い現象です。これらの情報から、東京在住の日本語が話せる人であれば、より日常的に使うAmazonやANAのチケット検索などを利用する傾向が高く、東京在住、あるいは観光できている英語を話す人の場合は、AirBnbで宿を探していたり、AppleStoreを探していたりする傾向を読み取ることができます。
何かを検索するとき、どの言語圏であっても、必ずキーボードのいずれかのキーを押すことになります。Googleのオートコンプリートが「他のユーザーが検索しているキーワード」「ご利用の地域で人気を集めているトピック」をベースにキーワードを先回りして予測しているのだとしたら、毎日あらゆる地域の、あらゆる言語設定の、すべてのキーに紐づくGoogleオートコンプリートの予測結果を収集していくと、世界各地で人々が何を検索しているのか、つまり何を求めているのかをaからzまでインデックスで一覧化する、「欲望の百科事典」がつくれるのではないか？というアイデアをベースに開発されたのが、このEncyclopedia of Desireです。
Encyclopedia of Desireは用途に応じて様々な使い方をすることができます。自分が住んでいる国の自分の言語のDailyのランキングを毎日眺めてその日その日のマイクロトレンドを観測しても良いですし、自分の国に住んでいることなる言語圏の人が何を探しているのかを調べたり、逆に自分と同じ言語を喋る人だけども国外に住んでいる人が何を検索しているのかを調べることもできます。まずは、Encyclopedia of Desireの基本的な使い方についてご説明します。
Daily Edition / Weekly Edition / Monthly Edition
日単位でデータを集計したDaily Edition、週単位でデータを集計したWeekly Edition、月単位でデータを集計したMonthly Editionの3つのタイプがあります。この3つのタイプは画面左上のタブで切り替えることができます。
デフォルトはDailyで、常に最新の日付ものが表示されるようになっています。日付単位のマイクロトレンドを観測するにはDaily Editionがおすすめです。テレビで取り上げられたトピックなど、瞬間風速的に検索数があがったキーワードと思われるものが多く見られます。Weeklyだと1週間のデータが集計対象になりますので、Dailyよりも、より継続的なワードが目立つようになってきます。DailyだけではなくWeeklyにも残ったキーワードは、より話題になっている期間が長いトピックスと言えるでしょう。Monthlyは、常に検索量が多いものや、長い間話題になっているトピックが見られます。過去数ヶ月に何が話題になっていたか振り返る時に見たり、ことなる言語圏の人たちが何を検索しているのか、ざっくりと把握したい時に便利です。
日付の設定
Daily、Weekly、Monthlyのタブをクリックすると、それぞれの最新のデータ、つまりDaily Editionでは前日のデータ、Weekly Editionでは前の週のデータ、Monthly Editionでは昨月のデータが表示されますが、過去のデータを閲覧することも可能です。カレンダーアイコンをクリックして特定の日付は範囲を選択してください。特定の日付、週、月のデータはそのままハイパーリンクを貼ることができますので、SNSにポストしたり、人に送ったりすることができます。
LocationとLanguage
LocationとLanguageは利用者のIPアドレスとブラウザの言語設定によって自動設定されますが、任意の場所や言語をマニュアルで選択することも可能です。例えばブラウザの言語設定がフランス語の人が、東京で何を検索しているのか。ブラウザの言語設定が日本語の日本人が、ムンバイで何を検索しているのか、といった様々な組み合わせのデータを見ることができます。
選択可能な地域と言語は以下の通りです。なぜ特定の地域と言語に限られている理由についてはEncyclopedia of Desireの仕組みについて解説したブログ記事「Encyclopedia of Desireの仕組み」をご覧ください。
Location一覧
アメリカ西海岸、アメリカ東海岸、ドイツ/フランクフルト、イギリス/ロンドン、インド/ムンバイ、フランス/パリ、ブラジル/サンパウロ、カナダ/モントリオール、日本/東京、韓国/ソウル、オーストラリア/シドニー
Language一覧
日本語、韓国語、英語、フランス語、ドイツ語、インド（ヒンディー語）、イタリア語、スペイン語、スペイン語（メキシコ）、ポルトガル語（ブラジル）、ロシア語
ワードの見方
それぞれの場所における、それぞれの言語設定でよく検索されている単語が、A-Z、数字、2バイト文字の順番で並んでいます。（日本語の場合、A-Zはキーボード入力されたものが上位に出やすい一方、2バイト文字はスマホなどのフリック入力で入力されたものが上位に出やすいため、2バイト文字のほうがスマホユーザーに寄ったデータが出ている傾向があります）
それぞれのワードの横に2つアイコンが表示されます。左側のアイコンは、直前のデータからの推移を表しています。Dailyであれば前日、Weeklyであれば先週、Monthlyであれば昨月のランキングと比較し、ランキングが上昇していれば上向きの矢印、ランキングが下降していれば下向きの矢印。ランク外から新たにランクインしたものは黒い上色矢印。順位が変わらないものはグレーの丸印になっています。
右側のアイコンはそのキーワードのポイント量を可視化した円グラフになっています。ポイントはランキング一位なら100点、10位なら10点として算出しており、Dailyでは直近一週間の、Weekly、Monthlyではそれぞれ当該期間の平均値を示しています。
ポイントが高いものは常に検索量が多いもの、ポイントは高くないけれども黒い上向きのアイコンがついているものは検索量が急増したものと言えます。
なお、ホットワードは、集計をする中で特に伸び率が高いものを抽出したものです。それぞれの期間において検索量が多かったと思われるキーワードが抽出されています。気になるキーワードをみつけたらGoogle Trendsなどのサービスで長期的な検索量のトレンドを検索しても面白いかもしれません。
Encyclopedia of Desireのお知らせを受け取る
Daily Edition、Weekly Edition、Monthly Editionはそれぞれ集計の都合上異なるタイミングで発行されます。それぞれのエディション毎のTwitterアカウントをフォローすることでEncyclopedia of Desireが更新される度にお知らせを受け取ることができます。
Blog
Encyclopedia of Desireのブログでは、Encyclopedia of Desire Projectがデータを集計する中で気づいた様々なインサイトや、気になるワードなどをご紹介しています。ご興味ある方は覗いてみてください。
謝辞
本サービスを開発するにあたり、Seth Stephens-Davidowitz氏の著作「Everybody Lies: Big Data, New Data, and What the Internet Can Tell Us About Who We Really Are」（邦題：誰もが嘘をついている ビッグデータ分析が暴く人間のヤバい本性）および、Ogi Ogas氏とSai Gaddam氏による共著「A Billion Wicked Thoughts: What the World’s Largest Experiment Reveals about Human Desire」（邦題：性欲の科学 なぜ男は「素人」に興奮し、女は「男同士」に萌えるのか）には多大なインスピレーションをいただきました。検索クエリーから欲望を暴き出す、非常にスリリングで興味深い本です。
また本プロジェクトを実現するにあたり、多くの方々にご協力をいただきました。宋賢珠さんには韓国語の入力メソッドについて、Nadya Kirillovaさんにはロシア語の入力メソッドについて、中根聡一郎さんにはヒンディー語の入力メソッドについて、また、嶋田敬一郎さんには本プロジェクトの趣旨を深くご理解いただき、英語の翻訳に多大なるご協力をいただきました。それぞれたくさんの貴重なアドバイスをいただきました。ありがとうございました。
Encyclopedia of Desire Project
Yasuhiro Tsuchiya / Koji Kimura / Shinsuke Kitomi / Katsuya Murano / Yuki Wakabayashi
What is Encyclopedia of Desire?
Google has a feature called “Autocomplete” that predicts what you are looking for in real-time and displays suggestions based on the text you enter in the search box. This is a function that has been installed in Google since around 2008. It is said that this function is designed to improve the search experience on mobile phone users making it easy to complete a search on a small screen where typing can be hard.
According to Google, the candidate keywords displayed in autocomplete are based on “keywords searched by other users” and “topics that are popular in your area”. In other words, it is a mechanism that predicts what is most likely to be searched in each region according to the entered keyword from the large number of search queries which only Google has.
What makes this prediction mechanism very interesting is that it predicts the result even from a single letter input, such as “a”. For example, if you are in Tokyo and your browser language setting is Japanese and type “a” in the Google search box, keywords such as "Amazon" and "ANA" are predicted by autocomplete, but if your language setting is English, keywords such as "Airbnb" and "apple" will be predicted.
It is a very interesting phenomenon that the predicted results differ depending on the language setting even from the same region. This data reveals several user activities like the following: users living in Tokyo and speak Japanese are more likely to use Amazon or ANA ticket search which is more likely to be used in daily life while the English speaking group living or visiting Tokyo are more likely to search for AirBnB or Apple stores.
When searching for something, users will always press a key, no matter what language they use. If Google Autocomplete predicts keywords based on “keywords searched by other users” and “topics that are popular in your area”, by collecting Google Autocomplete prediction results associated with all keys in all languages and all languages every day from around the world, you can see what people are searching for around the world, and we presume it represents people’s desire. Isn't it possible to create an encyclopedia of desires that are indexed from a to z by using this technique? Encyclopedia of Desire was developed based on this idea.
Encyclopedia of Desire can be used in various ways depending on the application. You can check daily rankings in your language of your country to observe micro-trends. You can also find out what people, who speak the same language as you but live outside the country, are searching for, or you can find out what people visiting your country looking for in your country and so on. Following is the basic tutorial of Encyclopedia of Desire.
Daily Edition / Weekly Edition / Monthly Edition
There are three editions for Encyclopedia of Desire: Daily Edition that aggregates data daily, Weekly Edition that aggregates data weekly, and Monthly Edition that aggregates data every month. These three types can be switched using the tabs in the upper left of the screen.
The default is Daily, which always shows the latest date. Daily Edition is recommended for observing micro-trend by date. Many keywords appear to have increased the number of searches, such as topics featured on TV. With Weekly Edition, data for one week will be counted, so more continuous words will stand out than Daily. Keywords that remain in Weekly, as well as Daily, can be said to be topics with a longer period of discussion. Monthly Edition always has a lot of searches and topics that have been around for a long time. This is useful when you want to look back at what has been talked about in the past few months, or when you want to get a rough idea of what people in different linguistic areas are searching for.
Setting the date
Clicking on the Daily, Weekly, and Monthly tabs display the latest data for each day, that is, the Daily Edition data for the previous day, Weekly Edition data for the previous week, and Monthly Edition data for the previous month. It is also possible to browse further previous data. Click the calendar icon to select a range for a specific date. Encyclopedia of Desire publishes a unique URL for a specific date, week, and month data, so you can share them on SNS or send to someone by just copying the URL.
Location and Language
Location and Language are automatically set according to the user's IP address and browser language setting, but any location or language can be selected manually. For example, you can see what word is searched in Tokyo by a person whose browser language setting is French. You can see various combinations of data by using this feature.
Selectable regions and languages are as follows. For the reason why it is limited to specific regions and languages, please see the blog post “Behind the Encyclopedia of Desire” that explains how Encyclopedia of Desire works.
List of Locations
US West Coast, US East Coast, Germany / Frankfurt, UK / London, India / Mumbai, France / Paris, Brazil / São Paulo, Canada / Montreal, Japan / Tokyo, Korea / Seoul, Australia / Sydney
List of Languages
Japanese, Korean, English, French, German, India (Hindi), Italian, Spanish, Spanish (Mexico), Portuguese (Brazil), Russian
How to browse the words
Words frequently searched for each language setting in each place are arranged in the order of A-Z, numbers, and double-byte characters. (In the case of Japanese, A-Z words are more likely to be searched by PC users because of keyboard input, whereas double-byte words are more likely to be searched by smartphone users because of flick input.)
Two icons are displayed next to each word.
The icon on the left shows the transition from the previous data. Compared to the previous day for Daily Edition, last week for Weekly Edition, and last month for Monthly Edition, an upward arrow indicates the ranking is moving up, while downward arrow indicates ranking is moving down. Black upper colored arrows indicate newly ranked from outside the rank. Gray circle indicates rank is not changing since previous data.
The icon on the right is a pie chart that visualizes the number of points for that keyword. Points are calculated as 100 points in the first place and 10 points in the 10th place. Daily shows the average for the most recent week, Weekly and Monthly show the average values for each period.
A word with high point means has a large amount of search, and a word with point is not high but has a black upward icon indicates that the search amount has increased rapidly.
Hotwords are automatically picked from all words which have a particularly high growth rate. If you find a keyword that interests you, it might be interesting to search for trends in long-term search volume using Google Trends.
Receive notification from Encyclopedia of Desire
Each Daily Edition, Weekly Edition, and Monthly Edition are published in different periods due to its data aggregation process. You can receive notifications every time each edition of Encyclopedia of Desire is updated by following Twitter account.
Blog
The Encyclopedia of Desire blog introduces various insights and words that you noticed while the Encyclopedia of Desire Project aggregates data.
Acknowledgment
In developing this service, we are strongly inspired by “Everybody Lies: Big Data, New Data, and What the Internet Can Tell Us About Who We Really Are” by Seth Stephens-Davidowitz and "A Billion Wicked Thoughts: What the World's Largest Experiment Reveals about Human Desire" by Ogi Ogas and Sai Gaddam. A very thrilling and interesting book that reveals human desires from search queries.
We want to thank all the people who gave us valuable advice and cooperation to build this project. In a survey of input methods for double-byte characters in each country. Ms. Hyunju Song gave a lot of valuable advice on Korean input methods, Ms. Nadya Kirillova on Russian input methods, and Mr. Shinichiro Nakane on Hindi input methods and Mr. Kei Shimada in English translation and overall grammar check.
Encyclopedia of Desire Project
Yasuhiro Tsuchiya / Koji Kimura / Shinsuke Kitomi / Katsuya Murano / Yuki Wakabayashi
