内置source和sink
内置source包括从文件读取,从文件夹读取,从socket中读取、从集合或者迭代器中读取。内置的sink包括写文件、控制台输出、socket
内置connectors
- Apache Kafka (source/sink)
- Apache Cassandra (sink)
- Amazon Kinesis Streams (source/sink)
- Elasticsearch (sink)
- Hadoop FileSystem (sink)
- RabbitMQ (source/sink)
- Apache NiFi (source/sink)
- Twitter Streaming API (source)
HDFS Connector
这个connector提供了一个sink,可以写分区到任何一个文件系统(只要支持hadoop filesystem就可以)。
来源:oschina
链接:https://my.oschina.net/u/946962/blog/3106670