您现在的位置是:网站首页> 软件下载软件下载
PiFlow(大数据流水线系统)V0.9官方版
2021-06-25
239人已围观
简介 PiFlow(大数据流水线系统)V0.9官方版
PiFlow是一款非常强大的大数据流水线系统,混合型科学大数据流水线系统,这款系统将数据采集、储存的等环节封装成组件,软件简单使用容易,提供100+的数据处理组件,如果有需要朋友的可以来本站下载试试。 软件特色 简单易用。 可视化配置流水线。 监控流水线。 查看流水线日志。 检查点功能。 扩展性强: 支持自定义开发数据处理组件。 性能优越: 基于分布式计算引擎Spark开发。 功能强大: 提供100+的数据处理组件。 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。 集成了微生物领域的相关算法。 使用方法 解压piflow-server-v0.9.tar.gz。 tar -zxvf piflow-server-v0.9.tar.gz。 编辑配置文件config.properties。 运行、停止、重启PiFlow Server。 start.sh、stop.sh、 restart.sh、 status.sh。 测试 PiFlow Server。 设置环境变量 PIFLOW_HOME。 vim /etc/profile。 export PIFLOW_HOME=/yourPiflowPath/bin。 export PATH=PATH:PIFLOW_HOME/bin。 运行如下命令。 piflow flow start example/mockDataFlow.json。 piflow flow stop appID。 piflow flow info appID。 piflow flow log appID。 piflow flowGroup start example/mockDataGroup.json。 piflow flowGroup stop groupId。 piflow flowGroup info groupId。 如何配置config.properties。 #spark and yarn config。 spark.master=yarn。 spark.deploy.mode=cluster。 #hdfs default file system。 fs.defaultFS=hdfs://10.0.86.191:9000。 #yarn resourcemanager.hostname。 yarn.resourcemanager.hostname=10.0.86.191。 #if you want to use hive, set hive metastore uris。 #hive.metastore.uris=thrift://10.0.88.71:9083。 #show data in log, set 0 if you do not want to show data in logs。 data.show=10。 #server port server.port=8002 #h2db port h2.port=50002
相关内容
- 360压缩V1.0.0.1031国际纯净版
- HiBackup(硬盘备份软件)V1.0.6官方版
- AnyTXTSearcher(文本内容搜索工具)V1.2.341.0免费版历史版本AnyTXTSearcher(文本内容搜索工具)V1.0.75官方安装版AnyTXTSearcher(文本内容搜索工具)V1.2.178官方安装版AnyTXTSearcher(文本内容搜索工具)V1.2.201官方版
- GameExtractor(游戏资源提取工具)V3.04免费版
- X3dnten.dllV1.0官方版
- PasswordChangerProfessional(开机密码修改)V6.0.6免费版
- TotalCommander(文件管理器)V9.51中文版
- WindowsMovieMaker(家庭电脑制作)V2.6官方版
- 飞象多聊V2.8官方版
- 边锋游戏大厅V8.0.58.0完整版
点击排行
- 学而思网校直播课堂下载 学而思网校直播课堂 for mac V6.0.0 苹果电脑版(附安装教程) 下载-
- 离线编辑博客的软件下载 Desk MD for mac(文章离线编辑器)V1.3.0 苹果电脑版 下载-
- Word2019破解版下载 Microsoft Word 2019 for Mac v16.75 VL 中文独立激活版(附破解工具) 下载-
- Excel2019激活版下载 Microsoft Excel 2019 for Mac v16.75 beta 中文激活独立版(附激活工具) 下载-
- 蜗牛小店mac版下载 蜗牛小店(宠物店管理系统)for mac V1.7.0 苹果电脑版 下载-
- 投屏软件mac版下载 奇聚会议个人版 for mac V2.8.1.0 苹果电脑版 下载-
- 视频会议软件mac版下载 全时空间 for mac V3.1.1650 苹果电脑版 下载-
- 化学实验高中完整版mac版下载 nb化学实验高中完整版 for mac V3.4.0 苹果电脑版 下载-
本栏推荐
-
学而思网校直播课堂下载 学而思网校直播课堂 for mac V6.0.0 苹果电脑版(附安装教程) 下载-
-
离线编辑博客的软件下载 Desk MD for mac(文章离线编辑器)V1.3.0 苹果电脑版 下载-
-
Word2019破解版下载 Microsoft Word 2019 for Mac v16.75 VL 中文独立激活版(附破解工具) 下载-
-
Excel2019激活版下载 Microsoft Excel 2019 for Mac v16.75 beta 中文激活独立版(附激活工具) 下载-
-
蜗牛小店mac版下载 蜗牛小店(宠物店管理系统)for mac V1.7.0 苹果电脑版 下载-
-
投屏软件mac版下载 奇聚会议个人版 for mac V2.8.1.0 苹果电脑版 下载-
-
视频会议软件mac版下载 全时空间 for mac V3.1.1650 苹果电脑版 下载-
猜你喜欢
- 学而思网校直播课堂下载 学而思网校直播课堂 for mac V6.0.0 苹果电脑版(附安装教程) 下载-
- 离线编辑博客的软件下载 Desk MD for mac(文章离线编辑器)V1.3.0 苹果电脑版 下载-
- Word2019破解版下载 Microsoft Word 2019 for Mac v16.75 VL 中文独立激活版(附破解工具) 下载-
- Excel2019激活版下载 Microsoft Excel 2019 for Mac v16.75 beta 中文激活独立版(附激活工具) 下载-
- 蜗牛小店mac版下载 蜗牛小店(宠物店管理系统)for mac V1.7.0 苹果电脑版 下载-
- 投屏软件mac版下载 奇聚会议个人版 for mac V2.8.1.0 苹果电脑版 下载-
- 视频会议软件mac版下载 全时空间 for mac V3.1.1650 苹果电脑版 下载-