您现在的位置是:网站首页> 软件下载软件下载
PiFlow(大数据流水线系统)V0.9官方版
2021-06-25
237人已围观
简介 PiFlow(大数据流水线系统)V0.9官方版
PiFlow是一款非常强大的大数据流水线系统,混合型科学大数据流水线系统,这款系统将数据采集、储存的等环节封装成组件,软件简单使用容易,提供100+的数据处理组件,如果有需要朋友的可以来本站下载试试。 软件特色 简单易用。 可视化配置流水线。 监控流水线。 查看流水线日志。 检查点功能。 扩展性强: 支持自定义开发数据处理组件。 性能优越: 基于分布式计算引擎Spark开发。 功能强大: 提供100+的数据处理组件。 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。 集成了微生物领域的相关算法。 使用方法 解压piflow-server-v0.9.tar.gz。 tar -zxvf piflow-server-v0.9.tar.gz。 编辑配置文件config.properties。 运行、停止、重启PiFlow Server。 start.sh、stop.sh、 restart.sh、 status.sh。 测试 PiFlow Server。 设置环境变量 PIFLOW_HOME。 vim /etc/profile。 export PIFLOW_HOME=/yourPiflowPath/bin。 export PATH=PATH:PIFLOW_HOME/bin。 运行如下命令。 piflow flow start example/mockDataFlow.json。 piflow flow stop appID。 piflow flow info appID。 piflow flow log appID。 piflow flowGroup start example/mockDataGroup.json。 piflow flowGroup stop groupId。 piflow flowGroup info groupId。 如何配置config.properties。 #spark and yarn config。 spark.master=yarn。 spark.deploy.mode=cluster。 #hdfs default file system。 fs.defaultFS=hdfs://10.0.86.191:9000。 #yarn resourcemanager.hostname。 yarn.resourcemanager.hostname=10.0.86.191。 #if you want to use hive, set hive metastore uris。 #hive.metastore.uris=thrift://10.0.88.71:9083。 #show data in log, set 0 if you do not want to show data in logs。 data.show=10。 #server port server.port=8002 #h2db port h2.port=50002
相关内容
- 360压缩V1.0.0.1031国际纯净版
- HiBackup(硬盘备份软件)V1.0.6官方版
- AnyTXTSearcher(文本内容搜索工具)V1.2.341.0免费版历史版本AnyTXTSearcher(文本内容搜索工具)V1.0.75官方安装版AnyTXTSearcher(文本内容搜索工具)V1.2.178官方安装版AnyTXTSearcher(文本内容搜索工具)V1.2.201官方版
- GameExtractor(游戏资源提取工具)V3.04免费版
- X3dnten.dllV1.0官方版
- PasswordChangerProfessional(开机密码修改)V6.0.6免费版
- TotalCommander(文件管理器)V9.51中文版
- WindowsMovieMaker(家庭电脑制作)V2.6官方版
- 飞象多聊V2.8官方版
- 边锋游戏大厅V8.0.58.0完整版
点击排行
- 美团大象mac版下载 美团大象(IM办公软件)for mac V3.3.11 苹果电脑版 下载-
- 慧宜通mac版下载 慧宜通(企业视频会议软件)for mac V2.2.1 苹果电脑版 下载-
- Keeper Password Manager Mac版下载 Keeper Password Manager for Mac(密码管理软件) V16.8.4 苹果电脑版 下载-
- Duplicate File Finder mac版下载 Duplicate File Finder for mac(重复文件删除软件)V6.0 苹果电脑版 下载-
- Product Manager Mac版下载 Product Manager for Mac(文件管理器) V2.4.4 苹果电脑版 下载-
- 看丽人全媒体软件mac版下载 看丽人全媒体系统 for mac V0.1.32 苹果电脑版 下载-
- Anaconda3 Mac下载 Anaconda3 Python 3.7 for Mac 2019.10 64位 苹果电脑版 下载-
- 另你教室mac版下载 另你教室(在线教育学习平台) for mac V1.3.4 苹果电脑版 下载-
本栏推荐
-
美团大象mac版下载 美团大象(IM办公软件)for mac V3.3.11 苹果电脑版 下载-
-
慧宜通mac版下载 慧宜通(企业视频会议软件)for mac V2.2.1 苹果电脑版 下载-
-
Keeper Password Manager Mac版下载 Keeper Password Manager for Mac(密码管理软件) V16.8.4 苹果电脑版 下载-
-
Duplicate File Finder mac版下载 Duplicate File Finder for mac(重复文件删除软件)V6.0 苹果电脑版 下载-
-
Product Manager Mac版下载 Product Manager for Mac(文件管理器) V2.4.4 苹果电脑版 下载-
-
看丽人全媒体软件mac版下载 看丽人全媒体系统 for mac V0.1.32 苹果电脑版 下载-
-
Anaconda3 Mac下载 Anaconda3 Python 3.7 for Mac 2019.10 64位 苹果电脑版 下载-
猜你喜欢
- 美团大象mac版下载 美团大象(IM办公软件)for mac V3.3.11 苹果电脑版 下载-
- 慧宜通mac版下载 慧宜通(企业视频会议软件)for mac V2.2.1 苹果电脑版 下载-
- Keeper Password Manager Mac版下载 Keeper Password Manager for Mac(密码管理软件) V16.8.4 苹果电脑版 下载-
- Duplicate File Finder mac版下载 Duplicate File Finder for mac(重复文件删除软件)V6.0 苹果电脑版 下载-
- Product Manager Mac版下载 Product Manager for Mac(文件管理器) V2.4.4 苹果电脑版 下载-
- 看丽人全媒体软件mac版下载 看丽人全媒体系统 for mac V0.1.32 苹果电脑版 下载-
- Anaconda3 Mac下载 Anaconda3 Python 3.7 for Mac 2019.10 64位 苹果电脑版 下载-