1API 获取数据的流程上文提到,API 是一组定义了不同软件组件之间交互的规范,交互过程中 API 可以使用不同的通信协议,其中最常用的是 HTTP。HTTP (“Hypertext Transfer Protocol”,超文本传输协议) 是一种用于在网络上发送和接收超文本的协议,它提供了一种可靠的方式来发送请求和接收响应,想象一下你使用浏览器访问一个网站,当在浏览器中输入网址并按下回车键时,浏
服务监听所有网络接口上的请求,从而允许所有 IP 地址访问。如果还有防火墙设置,确保开放相应的端口以允许流量通过。保存文件并退出编辑器。
一起简单说过itellm 支持多种模式的大模型运行,有proxy 模式(可以proxy 模型以及包含api服务的模型接口),也有直接通过python 代码进行访问的,以下是对于ollama 模型的一个简单运行试用 python代码模式 appv4.py 此模式litellm 会自己进行 from l
原创 1月前
44阅读
在Python中,函数其实是一个对象: >>> f = abs >>> f.__name__ 'abs' >>> f(-) 由于 f 可以被调用,所以,f 被称为可调用对象。 所有的函数都是可调用对象。 一个类实例也可以变成一个可调用对象,只需要实现一个特殊方法__call__()。 我们把 Person 类变成一个可调用对象: class P
Docker与虚拟化 在没有 Docker 的时代,我们会使用硬件虚拟化(虚拟机)以提供隔离。这里,虚拟机通过在操作系统上建立了一个中间虚拟软件层 Hypervisor ,并利用物理机器的资源虚拟出多个虚拟硬件环境来共享宿主机的资源,其中的应用运行在虚拟机内核上。但是,虚拟机对硬件的利用率存在瓶颈,因为虚拟机很难根据当前业务量动态调整其占用的硬件资源,因此容器化技术得以流行。其中,Docker
转载 2月前
40阅读
一、API 和 Web API API(Application Programming Interface)应用程序编程接口重点是接口"I".Web API是一个一URL 为控件的接口,对于非程序员来说,最常见和最容易访问的是REST和RESTful API。普通的URL会返回在浏览器中设计精美的页面和内容,而Web API URL会返回一些纯粹的基础信息,没有装饰的纯文本块。 Web API是专
qwen2 模型已经发布了,各种新闻都说很不错,所以通过ollama 测试下 安装ollama cli curl -fsSL https://ollama.com/insta 使用了api 模式 cli curl
原创 2月前
1142阅读
大数据的声音虽然没有前几年热闹,但hadoop生态圈的造轮子脚步一点也没停下来。最近几天有空,梳理一下各种OLAP的计算和存储框架。纯计算框架(query engine) Impala 目前在国内已经有不少商业客户在使用,估计是cloudera的国内市场推广做的不错。 架构上,元数据需要单独的mysql/pgsql来存储,需要两个单独的stateserver和catalogserv
转载 1月前
41阅读
就在今天ollama 0.2.3 发布了,主要修复了关于系统prompt 不能生效的问题,而且通过测试glm4 的兼容也比较好了,以前版本对于结构化输出是有一些问题的 参考资料 https://github.com/ollama/ollama/releases
原创 1月前
27阅读
就在今天ollama 0.2.8 发布了,提供了新的模型mistral-nemo 以及nuextract 的支持,mistral-nemo 是一个新发布的模型,很值得体验//ollama.com/
原创 1月前
23阅读
文章目录前言导读摘要预备知识语言模型ChatGPT性能暴涨的原因(涌现)GPT-1Transformer背景介绍模型精讲数据集及处理Common CrawlC4GithubWikipediaGutenberg and Books3ArXivStack Exchange小结关键TrickPre-normalizationSwiGLURotary Embeddings实验分析和讨论训练Trick模型
这里有几个坑:不要幻想在虚拟机上跑Unreal,理论上在虚拟机上开发编译工程会效率高,但游戏引擎不是。主要是GPU的问题,虚拟机做了很多trick模拟真实GPU,有自己的驱动,但Unreal识别不了虚拟机的图形驱动接口,即使编译成功也运行不了,除非用-nullrhi启动命令窗口模式。但凡涉及到渲染的内容在虚拟机上都效率极低。而且在虚拟机上编译的引擎文件巨大,大概有50-60G。建议装
前言:许久没上,打开时发现被盗号,内容全清空了,真是荒废了… 乘过年有空学习下一直想尝试的分布式开发,我将使用最新版本的netCore3.1为开发语言(c#),若干netCore开源框架做负载平衡、API网关等,使用Docker做程序的部署。 因先要先解决技术上的问题,开发过程会跳跃进行,以后再做整理 开干…本文涉及知识点:CentOSDockerNetCore 3.1因为我使用Visual St
就在今天ollama 0.2.2 解决了不少问题,比如nvida v100 gpu 问题,同时修复了一些关于特定模型以及nvida gpu oom 的问题 说明 以前在测试0.2.1 版本v100 的时候有明显的异常,造成服务不能正常工作, 通过测试0.2.2 目前是可以正常工作了 参考资料 htt
原创 1月前
24阅读
就在最近ollama 0.2.0 发布了,比较重要的是支持并发处理 并发处理的特性 并行请求,同时处理多个chat 会话,同步的处理一个文
原创 1月前
47阅读
参考 https://github.com/ollama/ollama https://zhuanlan.zhihu.com/p/689555159 https://zhuanlan.zhihu.com/p/687099148 https://zhuanlan.zhihu.com/p/6851662
原创 4月前
401阅读
【代码】CentOS上安装Ollama
原创 2月前
145阅读
问题导读: 1、为什么会出现OLAP应用? 2、OLAP的度过了哪些发展历史? 3、OLAP的基本内容有哪些? 4、OLAP常见操作有哪些?  OLAP(Online AnalyticalProcessing)是一种数据处理技术,专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持。OLAP是数据仓库对外数据能力的一种重要的输出方式:OLAP的起源60年代,关系数据库之
(On-Line Analysis Processing ) 的概念最早是由关系 数据库 之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一 类 产品同 联机事务处理 ( OLTP ) 明显区分开来。 Codd提出OLAP的12条准则来描述OLAP系统: 准则1 OLAP模型必须提供多维概念视图
/// <summary> /// 获取配置文件中DappSettings节点下指定索引键的Int类型的的值 /// </summary> /// <param name="key"> 索引键 </param> /// <param name="defaultV
  • 1
  • 2
  • 3
  • 4
  • 5