自定义scoring scoring模块是whoosh控制搜索结果得分的。 使用whoosh自带的scoring就可以实现特别好的搜索结果，但架不住业务上的要求，就比如我们要将搜索结果内在售的排在前面， 而且还要将最近的年份的显示在前面，并且不能简单的靠是否在售和时间来排序，还要根据搜索关键词的相关性综合考虑。其实就比较蛋疼， 要控制好这几个维度的度，也就是各个维度的权重。 重写BM2...

不得不说还是django用起来顺手，基本的需求框架都以提供，配合起来也方便。现在公司用flask多，最近做国际化，自己使用python自带的gettext做了实现。 虽然flask也用Flask-Babel等i18n的插件，但感觉实现起来也不难就自己做了，顺便借此看看其django的实现。 gettext 文档地址：https://docs.python.org/3/library/g...

前段时间看完了《面向数据科学家的实用统计学》，看的也不深刻，因为使用R语言实现的，所以我也没有去实践里面的例子。 最近开始看《数据挖掘与分析：概念与算法》，这本书已经买了两年了，每次重第一页看，看不超过50页就扔下了。 想做数据分析还是得补补基础。并且之前博客也配置好了Latex数学公式，正好先熟悉熟悉语法，也方便以后的学习记录。 向量 下面所有公式均来自《数据挖掘与分析：概念与算法》 ...

刚开始使用whoosh建立了全文检索后试了几个感觉搜索结果还是蛮准的（因为我用的例子比较常见，所以结果比较符合预期），但别人试过之后发现很多搜索结果一点都不准，而且有的翻好几页都没有想要的结果。。。 很郁闷，其实搜索结果也不是不准，毕竟人家算法打分就是这样，自己看看里面的内容就会发现这些排在前面的是有原因的，只是不符合特定领域的预期而已，后来跟我leader一起又就行了比较深入的研究，对搜索...

再次使用airflow对其也有了更深刻的理解，发现之前使用到的内容真的比较少，基本上就当一个可以管理任务依赖的crontab用了。 之前写dag的时候是当一个完整的项目写，基础类比如数据库连接都是自己封装，各种配置也自己用环境变量或者配置文件来配置。 随着理解的深入，发现其实人家做这个项目就是给大家提供一个开箱即用的任务管理平台，而不是让你还费半天劲建立项目。 基础连接类可以使用airflo...

因为之前没用过mongo，所以最近的开发踩了不少坑，现在熟练了不少。 mongo在许多地方用起来还有许多不如意的地方，比如不知道如何加行锁，虽然mongo本身可以加写锁， 多写的时候保证原子性，但不能向mysql在事务中select ... for update这样加锁， 这样可以在应用代码中添加逻辑并且保证该对应行不被读取或修改。 还好的是Mongodb4.0是支持事务的（看网上貌似3...