封面:聊天越贵 · Together AI想把长对话成本砍下去
#科技新闻#前沿科技#谁都听得懂的AI报道#献哥AI报道#TogetherAI#大模型#AI降成本
你以为跟 AI 多聊几句只是费点电?其实很多公司最先爆掉的,是显卡内存。像 ChatGPT 这种能聊天、能写东西的大模型,每回你发一句,它都得偷偷记住前面聊过什么。这个“记忆本”在技术里叫 KV cache,你就把它当成 AI 边听边做的速记。问题是,聊得越长,速记本越厚,显卡就越像被塞满的行李箱,贵得飞起。Together AI 这次把一个叫 OSCAR 的系统开源了。开源,就是把做法公开,别人也能拿去用。它干的事很直接:把 AI 这本速记,从原来比较占地方的格式,压到只有 2-bit,也就是每条信息只留特别精简的表示,像把厚衣服抽真空。难点在于,压太狠,AI 容易失忆、答非所问。OSCAR 的聪明点,是先分析哪些信息更重要,再换个更省空间的摆法,尽量压缩但不把脑子压坏。高潮就在这儿:长文档总结、超长客服对话、连续几小时的 AI 助手,过去最烧钱的不是“想”,而是“记”;现在有人开始动这块大头了。我觉得这比模型再大一点更实际,毕竟老板先看账单,不先看梦想。说白了,AI 还没学会少说话,工程师先教它少占座。
文案:为什么你跟 AI 多聊几轮,成本就蹭蹭涨?Together AI 放出一个新办法,像给 AI 行李箱抽真空。
封面:不交数据 · 各家不共享原件也能一起训练AI
#科技新闻#前沿科技#谁都听得懂的AI报道#献哥AI报道#联邦学习#NVIDIA#数据隐私
最神奇的合作,可能是大家谁都不把数据交出来,AI 反而学得更好。NVIDIA 最近拿一个教学项目,把这事讲明白了。它演示的是“联邦学习”,这词听着硬,其实很好懂:不是把所有人的数据都搬到一个大仓库里训练 AI,而是让每家自己在本地练,最后只把“学会了什么”汇总。像几个学生都不肯交作业本,但愿意告诉班长自己这题怎么做。这个教程用的是 CIFAR-10,一个常见的图片数据集,里面有猫、狗、汽车这些小图。更关键的是,它故意把数据分得很不平均。技术里叫 non-IID,你就理解成每个地方拿到的题都不一样:有的全是猫,有的老见卡车,很像现实里的医院、银行、手机用户,谁手里的数据都偏。教程比较了两种方法:FedAvg 像大家轮流报分数求平均,FedProx 则多加一条绳,防止每个人练着练着跑偏太远。高潮在这里:真正难的不是把 AI 练强,而是让它在“彼此不信任、数据又不一样”的现实世界里还能合作。这种方法对普通人最直接的意义,就是以后你的医疗记录、手机输入习惯,不一定非得上交,系统也能继续变聪明。说到底,AI 也开始学成年人社交了:可以一起干活,但别随便翻我抽屉。
文案:医院、银行不敢共享数据,AI 还怎么一起进步?NVIDIA 这套教程,像教一群不串门的学生集体备考。
封面:数据搬家 · 一个新手把ETL真的做出来了
#科技新闻#前沿科技#谁都听得懂的AI报道#献哥AI报道#ETL#数据工程#GitHub
很多人一听 ETL 就头大,其实它翻成人话,就是数据搬家三件套:先拿出来,再收拾干净,最后放进新家。最近有篇挺有意思的实战文章,作者几乎是从零开始,第一次搭自己的 ETL pipeline,也就是“数据流水线”。流水线你可以想成工厂传送带,数据从一头进来,中间洗一遍、改一遍,最后整整齐齐出厂。她选的数据源是 GitHub。GitHub 你可以把它当成程序员发作品、协作写代码的大平台。第一步叫 Extract,也就是提取,她去连 GitHub 的 API。API 这个词别怕,你把它当成网站留给程序的服务窗口,你按规矩问,它按规矩给你数据。第二步是 Transform,转换,就是把原始数据里乱七八糟的部分整理好,像把搬家时一袋子杂物分成衣服、书和锅。第三步是 Load,加载,也就是放进目标位置,方便以后查和分析。高潮不在技术多高级,而在这件事把一个常被说得很玄的岗位,突然拉回地面:原来数据工程不是天才魔法,是把脏活累活做成固定流程。对普通人也一样,很多“智能报表”“推荐系统”背后,先得有人把数据管道修通。说白了,AI 再聪明,也得先有人把菜洗好,不然它连锅都开不了。
文案:ETL 听着像黑话,其实就是“拿数据、洗数据、放好数据”。这位新手用 GitHub 做了一遍,特别像第一次搬家。