<jupyter_start><jupyter_text>--- ```Copyright 2019 Google LLCLicensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License at    https://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License.```---  事前準備1.   [GCP プロジェクト](https://console.cloud.google.com/cloud-resource-manager) を作成します。2.   [課金設定](https://support.google.com/cloud/answer/6293499enable-billing) を有効にします。3.   [API Key](https://console.cloud.google.com/apis/credentials) を作成します。4.   [Cloud Natural Language API と Cloud Translation API](https://console.cloud.google.com/flows/enableapi?apiid=translate.googleapis.com,language.googleapis.com) を有効にします。  Google Cloud API の認証情報を入力Google Cloud API を REST インタフェースから利用するために、 [API Key](https://console.cloud.google.com/apis/credentials) を利用します。 Google Cloud Console から API Key をコピーしましょう。<jupyter_code>import getpass

APIKEY = getpass.getpass()<jupyter_output><empty_output><jupyter_text>Cloud Natural Language API を使ってみよう !**Cloud Natural Language API** は、エンティティ分析、感情分析、コンテンツ分類、構文解析などの自然言語を理解するための技術をデベロッパーに提供します。 API Discovery Service を利用して **Cloud Natural Language API** を発見します。 Cloud Natural Language の REST API 仕様は [こちら](https://cloud.google.com/natural-language/docs/reference/rest/) に解説されています。<jupyter_code>from googleapiclient.discovery import build

nl_service = build('language', 'v1beta2', developerKey=APIKEY)<jupyter_output><empty_output><jupyter_text>Cloud Natural Language API に入力する情報を定義します。<jupyter_code>import textwrap

source_language = "en" #@param ["en", "ja"] {type: "string"}
source_sentence = "Classifying Opinion and Editorials can be time-consuming and difficult work for any data science team, but Cloud Natural Language was able to instantly identify clear topics with a high-level of confidence. This tool has saved me weeks, if not months, of work to achieve a level of accuracy that may not have been possible with our in-house resources." #@param {type:"string"}

document_type = "PLAIN_TEXT" #@param["PLAIN_TEXT", "HTML"] {type: "string"}
encoding_type = "UTF8" #@param["UTF8", "UTF16", "UTF32"] {type: "string"}

textwrap.wrap(source_sentence)<jupyter_output><empty_output><jupyter_text>エンティティ分析**エンティティ分析**は、指定されたテキストに既知のエンティティ（著名人、ランドマークなどの固有名詞）が含まれていないかどうかを調べて、それらのエンティティに関する情報を返します。エンティティ分析に関する REST API 仕様は[こちら](https://cloud.google.com/natural-language/docs/reference/rest/v1beta2/documents/analyzeEntities)で解説されています。<jupyter_code>response = nl_service.documents().analyzeEntities(
  body={
    'document': {
      'type': document_type,
      'content': source_sentence,
      'language': source_language,
    },
    'encodingType': encoding_type,
  }
).execute()
# Below code is extracting only proper nouns from a response message. If you
# have interest on what information is exactly contained in a response message,
# please try to explore it :D

for entity in response['entities']:
  for mention in entity['mentions']:
    if mention['type'] == 'PROPER':
      print(mention, entity['metadata'])<jupyter_output><empty_output><jupyter_text>感情分析**感情分析**は、指定されたテキストを調べて、そのテキストの背景にある感情的な考え方を分析します。具体的には、執筆者の考え方がポジティブか、ネガティブか、ニュートラルかを判断します。感情分析に関する REST API 仕様は[こちら](https://cloud.google.com/natural-language/docs/reference/rest/v1beta2/documents/analyzeSentiment)で解説されています。<jupyter_code>response = nl_service.documents().analyzeSentiment(
  body={
    'document': {
      'type': document_type,
      'content': source_sentence,
      'language': source_language,
    },
    'encodingType': encoding_type,
  }
).execute()
# This shows you document-level sentiment.
response['documentSentiment']
# This shows you sentence-level sentiment.
for sentence in response['sentences']:
  print(sentence['sentiment'], sentence['text']['content'])<jupyter_output><empty_output><jupyter_text>コンテンツの分類 (英語のみ)**コンテンツの分類**は、ドキュメントを分析し、ドキュメント内で見つかったテキストに適用されるコンテンツ カテゴリのリストを返します。ドキュメント内のコンテンツを分類するには、[classifyText](https://cloud.google.com/natural-language/docs/reference/rest/v1beta2/documents/classifyText) メソッドを呼び出します。<jupyter_code>response = nl_service.documents().classifyText(
  body={
    'document': {
      'type': document_type,
      'content': source_sentence,
      'language': source_language,
    },
  }
).execute()
response['categories']<jupyter_output><empty_output><jupyter_text>構文解析**構文解析**では、指定されたテキストを一連の文とトークン（通常は単語）に分解して、それらのトークンに関する言語情報を提供します。ほとんどの Natural Language API メソッドは、指定されたテキストの内容を分析しますが、[analyzeSyntax](https://cloud.google.com/natural-language/docs/reference/rest/v1beta2/documents/analyzeSyntax)  メソッドは、言語自体の構造を検査します。<jupyter_code>response = nl_service.documents().analyzeSyntax(
  body={
    'document': {
      'type': document_type,
      'content': source_sentence,
      'language': source_language,
    },
    'encodingType': encoding_type,
  }
).execute()
# This shows you output of syntax analysis. To leverage this output, you may
# need domain knowledge on natural language analysis.

response['tokens']<jupyter_output><empty_output><jupyter_text>演習問題 ** 1. エンティティ分析で著名人やランドマークを抽出してみましょう。** ** 2. 感情分析をさまざまな文章に対して実行してみましょう。 **  Cloud Translation API を使ってみよう !** Cloud Translation API** では、数千もの言語ペアの間でダイナミックにテキストを翻訳できます。 Cloud Translation API を使えば、プログラム上でウェブサイトやアプリケーションを Google Translate と統合できます。 API Discovery Service を利用して **Cloud Translation API** を発見します。 Cloud Natural Language の REST API 仕様は[こちら](https://cloud.google.com/translate/docs/reference/rest)で解説されています。<jupyter_code>from googleapiclient.discovery import build

translate_service = build('translate', 'v2', developerKey=APIKEY)<jupyter_output><empty_output><jupyter_text>Cloud Translation API に入力する情報を定義します。<jupyter_code>import textwrap

source_language = "en" #@param ["en", "ja"] {type: "string"}
target_language = "ja" #@param ["en", "ja"] {type: "string"}
source_sentence = "Classifying Opinion and Editorials can be time-consuming and difficult work for any data science team, but Cloud Natural Language was able to instantly identify clear topics with a high-level of confidence. This tool has saved me weeks, if not months, of work to achieve a level of accuracy that may not have been possible with our in-house resources." #@param {type:"string"}
textwrap.wrap(source_sentence, width=50)<jupyter_output><empty_output><jupyter_text>テキストの翻訳[translations](https://cloud.google.com/translate/docs/reference/translate) リクエストを使えば、入力テキストを、指定した言語に翻訳されたテキストを取得することが出来ます。入力テキストには**書式なしテキスト**または **HTML** を使用できます。Cloud Translation API は入力テキスト内の HTML タグは翻訳せず、タグ間にあるテキストのみを翻訳します。出力では、（未翻訳の）HTML タグは保持されます。タグは翻訳されたテキストに合わせて挿入されますが、ソース言語とターゲット言語には差異があるため、その位置調整は可能な範囲に留まります。出力内の HTML タグの順序は、翻訳による語順変化のため入力テキスト内の順序と異なる場合があります。<jupyter_code># Note that you can change Translation model by changing 'model' parameter.

response = translate_service.translations().list(
  source=source_language,
  target=target_language,
  q=source_sentence,
  model='nmt',
  format='html').execute()
text = response['translations'][0]['translatedText']
textwrap.wrap(text)<jupyter_output><empty_output><jupyter_text>言語の検出[detections](https://cloud.google.com/translate/docs/reference/detect) リクエストを使えば、入力テキストの言語を特定できます。この機能は使われている言語が不明なテキストを自動的に翻訳するときなどに利用できます。<jupyter_code>response = translate_service.detections().list(
  q=source_sentence
).execute()

response['detections']<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.11451485669208519, 'fraction_numerical': 0.005390481199053379, 'mean_word_length': 6.9905462184873945, 'pattern_counts': {'":': 0, '<': 45, '<?xml version=': 0, '>': 45, 'https://': 14, 'lorem ipsum': 0, 'www.': 1, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '11', 'dir': 'jupyter-structured-clean-dedup', 'id': '265840', 'license': 'Apache-2.0', 'n_tokens_mistral': 3178, 'n_tokens_neox': 3041, 'n_words': 538, 'path': 'machine_learning/cloud_ai_building_blocks/language_ja.ipynb', 'repo_name': 'yshimojo/gcp-getting-started-lab-jp', 'size': '7606'}