-
大模型-FineTuning模型微调
OpenAI-FineTuningOpenAI-版本更新日志(changelog)提示词工程指南提示词示例释义：Fine-tuning 模型微调微调模型能做的，是获得更好的结果和效率（减少费用，减少响应，优化存储） 比提示更高质量的结果 能够训练比提示所能容纳的更多示例 由于提示时间更短而节省的代币 更低的延迟请求前提知识：你需要知道，每个会话刚开始提供的示例(System prompt)，即是“少量学习”。微调通过训练比提示中更多的示例来改进小样本学习，让您在大量任务上取得更好的...…
-
大模型-evals模型测试
OpenAI-版本更新日志(changelog)https://platform.openai.com/docs/changelogevals模型测试评估测试并改进模型输出在使用 AI 模型进行开发时，必须不断测试其输出以确保其准确性和实用性。使用测试数据定期对模型的输出进行评估（通常称为evals）有助于您构建和维护高质量且可靠的 AI 应用程序。准备测试数据根据真实流量生成数据集 或 AI生成测试数据集同样，您的评估将需要一组测试输入，您的模型应该能够正确响应这些输入。拥有良好的测试数...…
-
数据库-mysql选错索引导致查询卡死
结论` 优化器认为 用有序的intention_update_time索引字段， 只需向后找10条满足where的记录就可以了。 但是！ 这个表的满足where的数据只有4%，向后扫描数据，一直凑不够10条满足的记录。 使用mobile索引，优化器给出的成本是(cost=55977.08 rows=120891) 使用intention_update_time索引，优化器给出的成本是(cost=4.60 rows=90)`这...…
-
工作-技术架构
技术架构技术架构介绍20220707.pptx…
-
网络协议-升级http2
安装步奏如下 cd /down wget https://openresty.org/download/openresty-1.15.8.1.tar.gz tar xzvf openresty-1.15.8.1.tar.gz wget https://www.openssl.org/source/openssl-1.1.1o.tar.gz --no-check-certificate tar -zxvf openssl-1.1.1o.tar.g...…
-
数据库-线上sql优化
结论（本次线上总结出的四类问题）1. 关联关系表（用户点全选，保存。 每次都是先全删在增。用户编辑的代价非常小，所以数据增长很快）2. EXISTS 或 IN 会导致选择外圈驱动表失效， 尽量用left join 或inner join。3. 联合索引 ， 使sql满足ref的满字段的const（ref = const，const，const）4. 不用的数据需要归档，审批提醒，周报提醒，待办提醒等. 冷热数据分离线上dubbo服务超时，线程池满了这个服务没有特殊逻辑， 就是增删改查。每...…
-
数据库-存储过程
按日将表归档,并记录执行日志. (每日0点)-- 存储过程调用记录日志表CREATE TABLE `scheduler_procedure_log` ( `id` int(11) NOT NULL AUTO_INCREMENT, `table_name` varchar(255) DEFAULT NULL COMMENT '表名', `create_table_sql` text COMMENT '当时跑的建表语句', `start_time` datetime DEFAULT N...…
-
面试-中台思考
很不错的文章，介绍清结算： https://www.cnblogs.com/sea520/p/11357252.html中台缺陷 (对创新发展型业务不友好. 如果你对这个业务的未来充满期待的话,不要让他依赖中台) 建设中台前,是(已知目前已有,或已知未来)即将有N个业务有重合. 并且这个N的数量,在一定时间内,值得你去投入中台. 建设中台就把原本没有竞争关系的N个业务,都绑在了一起,存在了资源竞争, 交付时间,个性化,性能下降(因为数据结构不在我这里,我无法针对我的...…
-
JAVA编程-webflux
支持Mono,FLux的客户端 (mysql, redis) 使用示例 ：https://zhuanlan.zhihu.com/p/299069835 spring官网 ：https://spring.io/projects/spring-data-r2dbc maven依赖(可选) : <!-- Mysql https://mvnrepository.com/artifact/dev.miku/r2dbc-mysql https:/...…
-
面试-优化TPS
压测朋友公司因为马上元旦了, 要优化一下TPS. web-flux, 8个接口施压, 目前QPS 140, 优化后QPS 550,保持和第三方返回时间一样, 链接越多QPS越高, 但施压机超过6个后, 就上不去了, rt响应时间变长. 因为http是长连接keeplive, 所以如果Server没有返回,客户端这个链接不会发起下一次请求. 导致QPS低,后续加了业务线程(50个)调用redis, 能到300, 到300后业务现场全部用光了, 阻塞在redis.set上. 导致入队列了, r...…
-
面试-复杂与简单
https://github.com/alibaba/canal/issues/3328复杂与简单当我们遇到一个复杂的问题时, 会尝试拆分成若干个子问题.这些子问题会随着时间增长,而难以管理. 你有解决过类似这样的问题吗? 如何系统性的解决复杂问题?如果你答不上来的话,那么我引导下你.问题1. 你先说说什么是复杂?问题2. 那什么是简单?问题3(实战经验). 你遇到过复杂的问题吗,描述一下,不需要详细说业务,用A和B来代替即可? 复杂点在哪里,它因什么而变得复...…
-
工作-记一次线上应用(频繁fullgc报警超过2秒)
G1有三种垃圾回收策略(1.年轻代gc, 2.混合gc, 3. full gc是单线程老年代gc)young gc触发: 伊甸园区域满了执行 复制算法. (不会暂停应用)mixed gc触发 老年代占整个堆大小超过这个参数.-XX:InitiatingHeapOccupancyPercent=45%执行 1. initial mark: 初始标记过程，整个过程STW，标记了从GC Root可达的对象 2. concurrent marking: 并发标记过程，...…
-
linux-select/poll/epoll/iocp
下面对4种IO模式进行比较, 从select模式慢慢最终演进成iocp模式.IO模式之select函数原型如下#include <sys/select.h>#include <sys/time.h>int select(int maxfdp1,fd_set *readset,fd_set *writeset,fd_set *exceptset,const struct timeval *timeout)返回值：就绪描述符的数目，超时返回0，出错返回-1函数参数介绍如...…
-
linux-IO控制器内存_内核内存_用户内存的拷贝
项目介绍一下从产生IO数据到程序员手中的复制过程前景声明: 因为硬盘读写是物理机械动作(寻找扇区，磁盘转圈），不像cpu是电子动作，所以要围绕减少物理动作去优化io。 刷盘: 就是主动将pageCache中的数据写到硬件控制器中。 非异步IO. 即阻塞io或sendfile零拷贝都属于非异步IO数据传递过程如下: 硬件控制器(是硬件芯片上的程序). 产生数据(比如网卡,磁盘) pageCache,它是内核空间的内存段(承上启下硬件数据与用户...…
-
数据库-分隔区
mysql支持的分区类型包括Range、List、Hash、Key，其中Range比较常用：RANGE分区：基于属于一个给定连续区间的列值，把多行分配给分区。LIST分区：类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。HASH分区：基于用户定义的表达式的返回值来进行选择的分区，该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。KEY分区：类似于按HASH分区，区别在于KEY分区...…
-
数据库-数据库代理-元数据管理
调研了下面8家数据库代理 1.Oracle/mysql-router，前身是mysql-proxy(支持元数据动态修改,会实时同步命令到所有mysql上， 同时自身存储元数据状态)官方对元数据的描述: https://dev.mysql.com/doc/mysql-router/8.0/en/mysql-router-general-metadata.html 2.京东数科/shardingsphere(支持元数据动态修改, 文件+内存+第三方（etcd,nacos,zk,Apollo...…
-
工作-技术难度(中)-业务复杂(高)-数据迁移(新老系统过渡切换)
开发了新系统, 老系统要平滑的过渡掉 (要处理的数据如下)1.期初业务数据2.期末业务数据3.过渡期实时产生的业务数据4.文件资源的迁移难点 1.两边系统的领域对象的差异(例: 领域对象是候选人), 它们在逻辑上有的对应, 有的不对应, 而且表关系结构有差异. 但宏观上看是它们是相似的. 2.上线前要保证两边系统数据一致, 并且今后的几个月, 对老系统订单与元数据,基础数据的操作, 都要在3秒内及时更新到新系统中. 3.老系统用户上传的文件也要同步到新...…
-
工作-技术难度(中)-业务复杂(高)-财务快照
对齐：业务模型对齐需求发现：对领域实现可视化和协作解耦：将领域分为子域连接：将子域形成为一种松耦合架构战略：专攻业务差异化的核心子域组织：按照有界上下文组织团队定义：定义每个有界上下文的角色和职责编码：使用战术模式实现有界上下文先临时记下， 后期补上细节 无感上线 (蓝绿发布， 流量切换，nginx + lua脚本 )， 牵头服务化迁移(K8S, 阿里云，修复springcloud-alibaba开源框架bug，成为committer)， 推荐报告 (...…
-
工作-公司现状描述
希望你能有业务敏感度.业务背景所在公司主营业务: 招聘招聘业务的本质是 信息传递 = 接触服务 咨询服务 = 专家系统, 经验教授 未来2-3年规划: 要实现营收增长 (营收 = 客单价 * 消费用户数 * 消费次数)第一优先级: 提高招聘效率 (提高消费次数)第二优先级: 提高顾问整体专业水平 (提高客单价)于是成立专项小组:效率支撑小组: 内部系统建设(技术,我所在的部门)PM共享服务中心: PM团队建设. 通过每个PM去提高每个员工的人效.我便开始了内部系统...…
-
数据库-Mycat2整体概述
mycat2的目标是成为一个分布式数据系统,数据库系统框图如下数据库系统绕过了操作系统对文件与内存管理, 对文件块(聚集索引)与内存块(页buffer,join-buffer,网络buffer)统一申请管理.数据库系统 组合使用了三种文件存储方式管理, 堆结构(扫描查询),Hash结构(等值查询),树结构(范围查询,排序)mycat2 新特性 配置与运行简单，拉取项目main方法直接运行即可用. 全局自增主键 （只需要建表语句即可） 更少的内存消耗 （...…
