Kafka 发送数据
向Kafka Topics发送数据
Kafka Console Producer
为了向Kafka Topic发送数据，需要一个producer。生产者的作用是向Kafka主题发送或写入数据/消息。
在本节中，我们将学习生产者如何向Kafka主题发送消息。
启动生产者有以下步骤:
第一步: 启动zookeeper和kafka服务器。
Step2: 在命令行中输入命令: 'kafka-console-producer'。这将帮助用户从标准输入读取数据并将其写入 Kafka 主题。
注意: 根据操作系统选择".bat"或".sh"。
突出显示的文本表示'broker-list'并且需要"主题 ID"来生成消息。这是因为生产者必须知道要写入数据的主题的 id。
步骤 3: 了解所有要求后，尝试向生产者生产消息主题使用命令:
'kafka-console-producer-broker-list localhost:9092-topic <topic_name>'。
注意: 这里，9092是Kafka服务器的端口号。
这里，'myfirst' 主题被选择写入消息。
一个'>'将出现在新行中。开始生成一些消息，如下图:
第4步: 按'Ctrl+c'并按'Y'键存在。
因此，这样，生产者可以向Kafka主题生产/发送多条消息.
Producer with Keys
Kafka Producer 可以使用或不使用密钥将数据写入主题。如果生产者没有指定键，则数据将存储到 key=null 的任何分区，否则数据将仅存储到指定的分区。需要使用"parse.key"和"key.seperator"来指定主题的键。使用的命令是:
'kafka-console-producer--broker-list localhost:9092--topic <topic_name>--property parse.key=true--property key.separator=,
> key,value
> another key,another value'
这里，key是具体的partition，value是生产者要写给topic的消息。
当一个topic不存在时？
假设生产者想向一个尚不存在的新主题发送消息。在这种情况下，在生成消息后会出现警告，如下面的快照所示。这只是一个警告。
为什么会出现这个警告？
出现警告是因为之前主题"演示"不存在。但是，一旦生产者写了一条消息，Kafka 就以某种方式创建了该主题。虽然没有为这个意外的主题举行领导人选举，但可以看到"LEADER_NOT_AVAILABLE"错误。但是，下一次，生产者可以继续写入更多消息，因为不会再次出现警告。
用户可以使用'-list'命令查看，如下图:
可以在列表中看到主题'demo'。
描述新主题
因此，由生产者直接创建的主题获取默认分区数及其复制因子为1、
例如,
使用时描述的主题"演示" '-describe' 命令将 'PartitionCount' 和 'ReplicationFactor' 的值设为 1(默认值)。因此，在向其生成消息之前创建主题始终是更好的选择。
更改默认值
按照以下步骤更改默认值对于新主题:
使用 Notepad++ 或任何其他文本编辑器打开"server.properties"文件。
将 num.partitions=1 的值编辑为新值。设为 3、因此，每当引入此类新主题时，PartitionCount 和 ReplicationFactor 的数量将为 3(无论用户设置什么)。
保存文件。
但是，总是先创建主题。
