您现在的位置是:网站首页> 软件下载软件下载
PiFlow(大数据流水线系统)V0.9官方版
2021-06-25
243人已围观
简介 PiFlow(大数据流水线系统)V0.9官方版
PiFlow是一款非常强大的大数据流水线系统,混合型科学大数据流水线系统,这款系统将数据采集、储存的等环节封装成组件,软件简单使用容易,提供100+的数据处理组件,如果有需要朋友的可以来本站下载试试。 软件特色 简单易用。 可视化配置流水线。 监控流水线。 查看流水线日志。 检查点功能。 扩展性强: 支持自定义开发数据处理组件。 性能优越: 基于分布式计算引擎Spark开发。 功能强大: 提供100+的数据处理组件。 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。 集成了微生物领域的相关算法。 使用方法 解压piflow-server-v0.9.tar.gz。 tar -zxvf piflow-server-v0.9.tar.gz。 编辑配置文件config.properties。 运行、停止、重启PiFlow Server。 start.sh、stop.sh、 restart.sh、 status.sh。 测试 PiFlow Server。 设置环境变量 PIFLOW_HOME。 vim /etc/profile。 export PIFLOW_HOME=/yourPiflowPath/bin。 export PATH=PATH:PIFLOW_HOME/bin。 运行如下命令。 piflow flow start example/mockDataFlow.json。 piflow flow stop appID。 piflow flow info appID。 piflow flow log appID。 piflow flowGroup start example/mockDataGroup.json。 piflow flowGroup stop groupId。 piflow flowGroup info groupId。 如何配置config.properties。 #spark and yarn config。 spark.master=yarn。 spark.deploy.mode=cluster。 #hdfs default file system。 fs.defaultFS=hdfs://10.0.86.191:9000。 #yarn resourcemanager.hostname。 yarn.resourcemanager.hostname=10.0.86.191。 #if you want to use hive, set hive metastore uris。 #hive.metastore.uris=thrift://10.0.88.71:9083。 #show data in log, set 0 if you do not want to show data in logs。 data.show=10。 #server port server.port=8002 #h2db port h2.port=50002
相关内容
- 360压缩V1.0.0.1031国际纯净版
- HiBackup(硬盘备份软件)V1.0.6官方版
- AnyTXTSearcher(文本内容搜索工具)V1.2.341.0免费版历史版本AnyTXTSearcher(文本内容搜索工具)V1.0.75官方安装版AnyTXTSearcher(文本内容搜索工具)V1.2.178官方安装版AnyTXTSearcher(文本内容搜索工具)V1.2.201官方版
- GameExtractor(游戏资源提取工具)V3.04免费版
- X3dnten.dllV1.0官方版
- PasswordChangerProfessional(开机密码修改)V6.0.6免费版
- TotalCommander(文件管理器)V9.51中文版
- WindowsMovieMaker(家庭电脑制作)V2.6官方版
- 飞象多聊V2.8官方版
- 边锋游戏大厅V8.0.58.0完整版
点击排行
- Focusey mac版下载 Focusey(计时器和清单应用) for Mac V1.0.1d 苹果电脑版 下载-
- Nook mac版下载 Nook(书籍阅读软件) for Mac v3.0.0fc9774 苹果电脑版 下载-
- CoverDesk mac版下载 CoverDesk(桌面图标快速隐藏工具)for Mac V1.3 苹果电脑版 下载-
- 讯飞文档mac版下载 讯飞文档(在线多人文档协作编辑软件) for mac v2.1.1138 苹果电脑版 下载-
- RETRO FORTH mac版下载 RETRO FORTH (Forth编程语言) for Mac V2019.8 苹果电脑版 下载-
- Apa在线教室Mac版下载 apa在线教室学生端(在线教育软件) for Mac V2.3.2 苹果电脑版 下载-
- Apa直播教室Mac版 Apa直播教室老师端(在线教育) for mac v1.0.0 苹果电脑版 下载-
- Carpet mac版下载 Carpet(文件和图标隐藏软件) for Mac v1.0.0 苹果电脑版 下载-
本栏推荐
-
Focusey mac版下载 Focusey(计时器和清单应用) for Mac V1.0.1d 苹果电脑版 下载-
-
Nook mac版下载 Nook(书籍阅读软件) for Mac v3.0.0fc9774 苹果电脑版 下载-
-
CoverDesk mac版下载 CoverDesk(桌面图标快速隐藏工具)for Mac V1.3 苹果电脑版 下载-
-
讯飞文档mac版下载 讯飞文档(在线多人文档协作编辑软件) for mac v2.1.1138 苹果电脑版 下载-
-
RETRO FORTH mac版下载 RETRO FORTH (Forth编程语言) for Mac V2019.8 苹果电脑版 下载-
-
Apa在线教室Mac版下载 apa在线教室学生端(在线教育软件) for Mac V2.3.2 苹果电脑版 下载-
-
Apa直播教室Mac版 Apa直播教室老师端(在线教育) for mac v1.0.0 苹果电脑版 下载-
猜你喜欢
- Focusey mac版下载 Focusey(计时器和清单应用) for Mac V1.0.1d 苹果电脑版 下载-
- Nook mac版下载 Nook(书籍阅读软件) for Mac v3.0.0fc9774 苹果电脑版 下载-
- CoverDesk mac版下载 CoverDesk(桌面图标快速隐藏工具)for Mac V1.3 苹果电脑版 下载-
- 讯飞文档mac版下载 讯飞文档(在线多人文档协作编辑软件) for mac v2.1.1138 苹果电脑版 下载-
- RETRO FORTH mac版下载 RETRO FORTH (Forth编程语言) for Mac V2019.8 苹果电脑版 下载-
- Apa在线教室Mac版下载 apa在线教室学生端(在线教育软件) for Mac V2.3.2 苹果电脑版 下载-
- Apa直播教室Mac版 Apa直播教室老师端(在线教育) for mac v1.0.0 苹果电脑版 下载-