Dask 介绍
Dask是一款用于分析计算的灵活并行计算库。
Dask由两部分组成：
针对计算优化的动态任务调度。这与Airflow，tmdjmg，Celery或Make类似，但针对交互式计算工作负载进行了优化。
“大数据”集合， 像并行数组，数据框和列表一样，它们将通用接口（如NumPy，Pandas或Python迭代器）扩展到大于内存或分布式环境。 这些并行集合运行在动态任务调度器之上。
Dask 安装
在配置好 pip 的环境下安装，只需要命令
pip install dask
即可安装完成Dask的核心部分。而且非常小，才 1MB
但是如果需要用到比较多的功能的话，还是建议装完整版本
pip install dask[complete]
这里还要注意一个坑，dask的有一些库要求的python版本 > 2.7.8 或者 3.4——版本过低容易被坑
Dask简单使用:
也可以参考Dask官网文档
Dask用例大致可以分为以下两类： 大型NumPy / Pandas /使用dask.array，dask.dataframe，dask.bag列出来分析具有熟悉技术的大型数据集。这与Databases，Spark或大型数组库类似。
自定义任务计划。您提交了一个相互依赖于自定义工作负载的函数图。这与tmdjmg，Airflow，Celery或Makefiles类似。
今天的大多数人都认为Dask假设它是一个像Spark这样的框架，它围绕着大量统一形状数据集合的第一个用例而设计。然而，许多更高效和新颖的用例属于第二类，使用Dask来并行化定制工作流程。
Dask计算环境可以分为以下两类： 带有线程或进程的单机并行：Dask单机调度程序利用笔记本电脑或大型工作站的全部CPU功率，并将空间限制从“适合内存”更改为“适合磁盘”。这个调度程序使用简单，没有大多数“大数据”系统的计算或概念开销。多节点上的分布式集群并行：Dask分布式调度程序协调集群中多台机器的操作。它可以在任何地方从一台机器扩展到一千台机器，但不会超越其他机器。
单机调度程序对更多个人有用（更多人拥有个人笔记本电脑，而不是可以访问群集），并且可能占当前使用Dask的80％以上。分布式机器调度程序对大型机构，研究实验室或私人公司很有用。 Dask里面提供了很多库，可以从最普通的 array中入手 第一个hello world的例子：
dask.array的使用:
import vps云服务器 dask.array as daimport numpy as np# 1.example—– HelloWorldx = np.arange(1000)print xy = da.from_array(x, chunks=(100))print yprint y.mean()print y.mean().compute() 第二个例子:
产生随机数:
# 2.examplex = da.random.normal(0, 1, size=(100,100), chunks=(10, 10))a = x.mean().compute()print a bag 提供了 map, filter, fold, groupby等操作 # 3.import dask.bag as dbb = db.from_sequence([1, 2, 3, 4, 5, 6])print bc = db.from_sequence([1, 2, 3, 4, 5, 6], npartitions=2)print c
转载于:https://www.cnblogs.com/HelloGreen/p/8817863.html
26083942
