教えてくださいMongoDBクラスタのデータメカニズムは何ですかPythonでのset文の用法は?Linux環境で変数を設定する方法を教えて最近のコメント表示できるコメントはありません。minutes著者は、寄付プログラム「書いて寄付する」の一環として、フリーかつオープンソースの基金に寄付をするために選択しました。Kafkaは、大量のリアルタイムデータを処理するために設計された人気のある分散メッセージブローカーです。Kafkaクラスターは非常にスケーラブルで耐障害性があります。ActiveMQやRabbitMQなどの他のメッセージブローカーと比較して、はるかに高いスループットを持っています。一般的にはパブリッシュ/サブスクライブのメッセージングシステムとして使用されますが、多くの組織がログ集約のためにも利用しています。Kafkaはパブリッシュされたメッセージの永続的なストレージを提供しているからです。パブリッシュ/サブスクライブのメッセージングシステムは、1つ以上のプロデューサがメッセージを公開することができ、コンシューマの数やメッセージの処理方法を考える必要がありません。購読されたクライアントは、自動的にアップデートや新しいメッセージの作成について通知されます。このシステムは、定期的に新しいメッセージが利用可能かどうかを確認するためにクライアントが定期的にポーリングするシステムよりも効率的かつスケーラブルです。2.8.2をインストールおよび設定します。Kafkaのためのユーザーを作成Kafkaはネットワークを介してリクエストを処理できるため、まず最初に専用のユーザーをサービス用に作成します。これにより、Kafkaサーバーが侵害された場合にUbuntuマシンへの被害を最小限に抑えることができます。このステップでは、専用のkafkaユーザーを作成します。あなたの非管理者sudoユーザーとしてサーバーにログインし、次にkafkaというユーザーを作成してください。kafkaパスワードを設定し、kafkaユーザーを作成するために指示に従ってください。次に、adduserコマンドでsudoグループにkafkaユーザーを追加します。Kafkaの依存関係をインストールするためには、これらの特権が必要です。sudoあなたのカフカユーザーは準備ができました。suを使用して、カフカアカウントにログインしてください。kafkaKafka専用のユーザーを作成したので、Kafkaのバイナリをダウンロードして展開する準備が整いました。Kafkaバイナリのダウンロードと展開このステップでは、Kafkaのバイナリをダウンロードして、kafkaユーザーのホームディレクトリに専用のフォルダに展開します。最初に、/home/kafkaというディレクトリに「Downloads」というディレクトリを作成して、ダウンロードしたファイルを保管してください。~/Downloadsカフカのバイナリをダウンロードするために、curlを使用してください。~/Downloads/kafka.tgz「kafka」という名前のディレクトリを作成し、このディレクトリに移動してください。これはKafkaのインストールのベースディレクトリとして使用します。~/kafkaダウンロードしたアーカイブをtarコマンドを使用して展開してください。1フラグを指定してください。他のディレクトリ(たとえば~/kafka/kafka_2.13-2.8.2/内のディレクトリ)には抽出しないようにします。バイナリをダウンロードし、正常に抽出したので、Kafkaサーバーの設定を開始できます。Kafkaサーバーの設定Kafkaのトピックは、メッセージを公開できるカテゴリーやグループ、フィードの名前です。Kafkaのデフォルトの動作ではトピックを削除することはできません。この動作を変更するには、設定ファイルを編集する必要があります。このステップでは、その編集作業を行います。カフカの設定オプションは、server.propertiesに指定されています。nanoまたはお気に入りのエディタでこのファイルを開きます。~/kafka/config/server.properties最初に、Kafkaのトピックを削除する設定を追加します。次の行をファイルの最後に追加してください。ファイルで行われます。true次に、log.dirsプロパティを変更してKafkaのログが保存されるディレクトリを変更します。log.dirsプロパティを探し、既存のルートを強調されたルートに置き換えてください。~/kafka/config/server.propertiesを日本語で表現すると、次のようになります:「~/kafka/config/server.propertiesファイル」log.dirs=/home/kafka/logsファイルを保存して閉じる。Kafkaを設定したら、Kafkaサーバーを起動し、起動時に自動的に有効化するためのsystemdユニットファイルを作成できます。systemdユニットファイルの作成とKafkaサーバーの起動このセクションでは、Kafkaサービスのためのsystemdユニットファイルを作成します。一般的なサービスアクションを、他のLinuxサービスと一貫性のある方法で実行することができます。Kafkaは、クラスターの状態と設定を管理するためにZookeeperを使用しています。Zookeeperは多くの分散システムで使用されており、公式のZookeeperドキュメントでツールについて詳しく読むことができます。これらのユニットファイルでZookeeperをサービスとして使用します。Zookeeperのためにユニットファイルを作成してください。/etc/systemd/system/zookeeper.service以下のユニットの定義をファイルに入力してください。/etc/systemd/system/zookeeper.serviceを日本語で自然な言い方で言い換えると、次のようになります。/home/kafka/kafka/config/zookeeper.propertiesExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.targetZookeeperの[Unit]セクションでは、ネットワーキングとファイルシステムが準備完了している必要があることが指定されています。セクションでは、systemdがzookeeper-server-start.shとzookeeper-server-stop.shのシェルファイルを使用してサービスを起動および停止することが指定されています。異常終了した場合にはZookeeperが再起動されるようにも指定されています。このコンテンツを追加した後、ファイルを保存して閉じてください。次に、kafkaのsystemdサービスファイルを作成してください。/etc/systemd/system/kafka.service次の単位の定義をファイルに入力してください。kudasai.)/etc/systemd/system/kafka.serviceは、以下のように日本語で言い換えられます。「カフカのサービスは/etc/systemd/system/kafka.serviceファイルにあります。起動されるようになります。「Service」セクションでは、systemdがkafka-server-start.shとkafka-server-stop.shシェルファイルを使用してサービスを起動および停止するように指定されています。Kafkaが異常終了した場合には再起動するようにも指定されています。ファイルを保存して閉じる。ユニットが定義されたら、以下のコマンドでKafkaを起動してください。kafkaカフカユニットのジャーナルログを確認して、サーバーが正常に起動していることを確認してください。kafkaこのような出力があなたに届きます。-XX:MaxGCPauseMill>現在、デフォルトポートとしてKafkaサーバーがポート9092でリスニングしています。カフカサービスを開始しました。サーバーを再起動すると、カフカは自動的に再起動されません。サーバーブート時にカフカサービスを有効にするには、次のコマンドを実行してください。zookeeper「シンボリックリンクが作成された」という応答が届きます。/etc/systemd/system/zookeeper.service.それから、このコマンドを実行してください。kafkaシンボリックリンクが作成されたことをお知らせいたします。/etc/systemd/system/kafka.service.このステップでは、KafkaとZookeeperのサービスを起動しました。次のステップでは、Kafkaのインストールを確認します。Kafkaのインストールをテストする。このステップでは、Kafkaのインストールをテストします。Worldメッセージを発行して受信します。topics.始める前に、「TutorialTopic」というトピックを作成してください。スクリプトを使用して、コマンドラインからプロデューサーを作成することができます。引数として、Kafkaサーバーのホスト名、ポート、トピックが必要です。トピックが作成されたという返信を受け取ります。TutorialTopic.「こんにちは、世界」という文字列をTutorialTopicトピックに公開してください。/dev/null次に、kafka-console-consumer.shスクリプトを使用してKafkaコンシューマを作成します。引数として、ZooKeeperサーバのホスト名およびポート、さらにトピック名を指定します。次のコマンドはTutorialTopicからメッセージを消費します。コンシューマが開始される前に公開されたメッセージを消費するため、–from-beginningフラグの使用に注意してください。–from-beginning設定の問題がなければ、ターミナルで「こんにちは、世界」という応答を受け取ることができます。Worldスクリプトは続行され、公開するさらなるメッセージを待ち続けます。これをテストするために、新しいターミナルウィンドウを開き、サーバーにログインしてください。kafkaユーザーとしてログインすることを忘れないでください。kafkaこの新しいターミナルで、プロデューサーを開始して、2つ目のメッセージを発行してください。/dev/nullこのメッセージは、消費者の出力結果があなたの元のターミナルに表示されます。Cloud!テストが完了したら、オリジナルのターミナルで消費者スクリプトを停止するためにCTRL+Cを押してください。20.04にKafkaサーバーをインストールし、設定しました。次のステップでは、Kafkaサーバーのセキュリティを強化するために、いくつかの迅速な作業を行います。サーバーの強化インストールが完了したら、kafkaユーザーの管理者特権を削除し、Kafkaサーバーのセキュリティを強化できます。それを行う前に、root以外のsudoユーザーとしてログアウトして、ログインし直してください。このチュートリアルを開始した時と同じシェルセッションのままでいる場合は、exitと入力してください。sudoグループからkafkaユーザーを削除してください。ユーザーのパスワードをロックします。この操作により、誰もがこのアカウントを使用して直接サーバーにログインできなくなります。-l-lフラグは、ユーザーのパスワード(passwd)を変更するコマンドをロックします。この時点では、kafkaとしてログインするためには、ルートまたはsudoユーザーのみが次のコマンドを使用することができます。kafka将来的に、パスワードを変更する機能を解除する場合は、パスワードを-uオプションとともに使用してください。-u現在、Kafkaユーザーの管理者権限を正常に制限しました。Kafkaの使用を開始する準備ができました。次のステップでKafkaTをシステムに追加することもできます。KafkaTのインストール(オプション)KafkaTは、Kafkaクラスタの詳細を表示したり、コマンドラインから特定の管理タスクを実行する能力を向上させるために開発されました。これはRubyのgemですので、使用するためにはRubyが必要です。KafkaTに依存する他のgemをビルドするためには、build-essentialパッケージも必要です。aptを使用してRubyとbuild-essentialパッケージをインストールしてください。build-essential「gemコマンドを使用して、KafkaTをインストールすることができます。kafkatkafkatのインストールプロセス中にZookeeperの警告やエラーを抑制するには、Wno-error=format-overflowコンパイルフラグが必要です。インストールが完了したら、完了の通知を受け取ります。installedKafkaTは、.kafkatcfgを設定ファイルとして使用して、Kafkaサーバーのインストール先およびログディレクトリを特定します。KafkaTがZooKeeperインスタンスへの接続を行うためのエントリも含まれるべきです。いう新しいファイルを作成してください。~/.kafkatcfgKafkaサーバーとZookeeperインスタンスに必要な情報を指定するために、以下の行を追加してください。"localhost:2181"}ファイルを保存して閉じてください。KafkaTを使用する準備が整いました。全てのKafkaパーティションの詳細を表示するには、次のコマンドを実行してください。partitions以下の出力が得られます。クライアント関連の情報を保存するために使用する内部トピックです。始まる行は安全に無視してください。KafkaTについて詳しく学びたい場合は、そのGitHubリポジトリを参照してください。Kafkaが実行されています。Kafkaクライアントを使って、お好きなプログラミング言語にKafkaを統合することができます。カフカについてもっと学ぶためには、ドキュメンテーションも参照することができます。広告は10秒後に閉じます。