airflow任务上下文与区时

在使用ariflow的跑任务的时候有时候是要知道执行任务的逻辑时间,比如在20号跑15号的任务是,那么逻辑上时间就是15号,而不是20号,因为你可能会处理15号的数据。 这个是很多任务中经常用到的,实现这个比较简单,在PythonOperator传入参数provide_context=True,arilfow会自动传入上下文参数。 ... demo_task = PythonOperat...

阅读全文

Flask项目与clery实践

好久没写博客了,前段时间换工作天天加班,最近不加班了长时间不写就不想写了,今天先凑合一篇,主要记录一下现在公司的项目实践。之前项目一直用Django框架,现在的公司都用flask,于是新项目也用flask搭建的。 项目结构 ├── app │   ├── __init__.py │   ├── api │   │   ├── __init__.py │   │   ├── seriali...

阅读全文

使用Docker运行整套项目组件

对于docker其实没有系统的学习过,之前在蓝汛工作的时候就被安排做docker镜像,当时临时上手,直接进入container然后跟操作linux一样把环境部署好之后像git一样commit到镜像,然后push到我们的私有repository里面,用的时候就直接docker pull,然后run。 其实这样不太好,因为每次修改什么都得不到体现,后来开始写Dockerfile。当时的思想是直...

阅读全文

Django restful api 实践

之前帮朋友创业做app后台,现在框架也已经搭建起来了,业务就不记录了,主要记录以下几个方面: restful风格 自动生成文档 token及签名认证 要说到django restful,大多会用到djangorestframework,我也不例外。 项目目录结构 ├── Pipfile ├── Pipfile.lock ...

阅读全文

mysql8使用mysqlclient报错解决

在公司的时候搭建的项目正常运行,但回家后clone代码后安装依赖包后总报错: django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module. Did you install mysqlclient? what? 然后我卸载安装了两遍还是不行,安装也没有报错。公司跟家里的系统都是macOS10.14.3...

阅读全文

Linux添加交换空间(SWAP)

今天pip安装lxml的时候总报gcc编译错误,google原因后应该是缺少依赖程序包。 apt-get install build-essential libssl-dev libffi-dev libxml2-dev libxslt1-dev 安装完发现确实开始编译安装了(之前直接就报错了),然后等了许久发现还是失败了,还是gcc error: command 'aarch64-...

阅读全文