卓尔金升级A13——无监督学习优化
ASK: 如果对一组数据取ln,取ln后的结果服从正态分布。 而且这组数据,随时间变化是一种指数下降的状态。 请问如何计算这组数据分布区间的均线,上轨和下轨。 请用Excel函数程序具体说明。
请注意,普通正态分布和指数正态分布服从的分布函数是不同的,线性下降和指数下降的数据服从的时间变化率函数也是不同的,如果这组数据服从指数正态分布而不是普通正态分布,服从线性下降而不是指数下降,以上公式是否会发生变化?
ANSWER:
对于服从指数正态分布的数据,我们需要对数据进行对数变换以使其服从正态分布。然后,我们可以使用相同的方法来计算均线,上轨和下轨。但是,需要注意的是,这些计算出的均线,上轨和下轨是对数变换后的数据的均线,上轨和下轨,而不是原始数据的。
对于时间变化率,如果数据是线性下降的,那么我们可以直接使用上述方法。但是,如果数据是指数下降的,那么我们需要先对数据进行对数变换,然后再进行计算。
以下是在Excel中进行这些计算的步骤:
对数变换:假设你的数据在A列,你可以在B列进行对数变换,即在B1单元格输入
=LN(A1)
,然后将这个公式向下拖动到其他单元格。均线:我们可以使用
AVERAGE
函数来计算均线。在C1单元格输入=AVERAGE($B$1:$B1)
,然后将这个公式向下拖动到其他单元格。上轨和下轨:我们可以使用
STDEV.P
函数来计算标准差,然后用均值加减两倍的标准差来得到上轨和下轨。在D1单元格输入=C1+2*STDEV.P($B$1:$B1)
,在E1单元格输入=C1-2*STDEV.P($B$1:$B1)
,然后将这两个公式向下拖动到其他单元格。
ASK:
如果对一组数据取ln,取ln后的结果服从正态分布。 而且这组数据,随时间变化是一种指数下降的状态。 请问如何计算这组数据分布区间的均线,上轨和下轨。 请用Excel函数程序具体说明。
请注意,普通正态分布和指数正态分布服从的分布函数是不同的,线性下降和指数下降的数据服从的时间变化率函数也是不同的,如果这组数据服从指数正态分布而不是普通正态分布,服从线性下降而不是指数下降,以上公式是否会发生变化?
请注意,如果我事先不知道数据是线性下降和指数下降的,我认为数据Y随时间t的变化是服从函数
Y=A+Bt+CEXP(D*t)的,其中A,B,C,D为常数。
同时我认为数据Y的分布函数是一个正态分布和指数正态分布的线性叠加。
请问如何对数据进行简单的回归分析,确定数据Y在各个时刻的分布函数和Y随时间t的变化函数?
ANSWER:计算数据分布区间的均线,上轨和下轨
中轨线(均线):
=AVERAGE(数据范围)
上轨线:
=AVERAGE(数据范围) + 2*STDEV.P(数据范围)
下轨线:
=AVERAGE(数据范围) - 2*STDEV.P(数据范围)
其中,AVERAGE
函数用于计算平均值,STDEV.P
函数用于计算标准差。
正态分布和指数正态分布
线性下降和指数下降
回归分析
同时,对于数据Y的分布函数是一个正态分布和指数正态分布的线性叠加的情况,这是一个混合模型,可能需要使用期望最大化(EM)算法等更复杂的方法进行参数估计,这通常超出了Excel的功能范围。
以上是一些基本的指导,具体的实施可能需要根据您的数据和需求进行调整。如果需要更深入的统计分析,可能需要寻求专业统计软件或统计专家的帮助。 对于数据Y的回归分析和参数估计,可以采用以下步骤:
对于数据Y的分布函数的确定,可以采用以下步骤:
以上步骤可以帮助你进行数据的回归分析和参数估计,以及确定数据Y在各个时刻的分布函数和Y随时间t的变化函数。具体的实现需要依赖于具体的编程语言和工具,例如Python的numpy, scipy和statsmodels库等。如果你需要具体的代码示例,我可以提供Python语言的实现。你需要吗?
以下是一种可能的方法:
数据输入:在Excel中输入你的数据,假设你的自变量(x)数据在A列,因变量(y)数据在B列。
参数初始化:在某个单元格中为参数a、b、c和d设置初始值。这些初始值可以是你对这些参数的猜测,也可以是通过其他方法得到的估计值。
定义模型:在C列中,使用你的模型函数计算预测值。例如,你可以在C2单元格中输入公式
=$A$1+$A$2*A2+$A$3*EXP($A$4*A2)
,其中$A$1、$A$2、$A$3和$A$4分别是参数a、b、c和d的单元格地址。定义目标函数:在D列中,计算每个观测值的残差平方(即预测值与实际值之差的平方)。然后在某个单元格(比如D1)中计算所有残差平方的和。
使用Solver工具:在Excel中打开Solver工具,设置目标为最小化D1单元格的值,通过改变参数a、b、c和d的值来实现这个目标。
求解:点击Solver工具中的“求解”按钮,Excel将自动调整参数a、b、c和d的值,使得残差平方和最小。
要从网络上的金融交互式图表获取CSV数据并下载到Mac电脑,你可以使用Python的一些库,如requests
和pandas
。以下是一个基本的步骤:
首先,你需要找到图表数据的URL。这通常可以在网页的源代码中找到,或者通过浏览器的开发者工具查看网络请求。
然后,你可以使用
requests
库从该URL获取数据。获取到数据后,你可以使用
pandas
库将数据转换为DataFrame,然后保存为CSV文件。
以下是一个简单的示例代码:
请注意,这只是一个基本的示例,实际的代码可能需要根据图表数据的具体格式和网站的具体情况进行调整。例如,如果数据是通过JavaScript动态加载的,你可能需要使用像Selenium
这样的工具来模拟浏览器行为。此外,一些网站可能需要登录或其他形式的身份验证,这可能需要额外的处理。最后,确保你有权访问和下载这些数据,并且遵守所有相关的使用条款和隐私政策。
无监督学习优化方案
总结
实践是检验真理的唯一标准, 暴力是检验权力的唯一标准, 责任是检验信用的唯一标准, 互换是检验公平的唯一标准。
我这辈子其实做的事,也不过是, 让哈耶克掌握印钞权, 让凯恩斯负责宏观调控, 让亚当斯密负责服务实体经济。
中国人民银行的日常工作,目前都被我们用算法,代替了。
1,印钱,用区块链,加密货币代替,也就是让【哈耶克·人工智障】管。 2,管银行,加减0.25,用人工智障,神经网络,无监督学习,迁移学习,管看不见的手,也就是让【亚当斯密·人工智障】管。 3,政府的银行,用欧拉公式,香农信息论(凯利公式),管了,也就是让【凯恩斯·人工智障】管。
过往业绩不能代表未来表现,这个话有三种意思 1,就是我尽力了,以前的事情是不可抗力。 2,就是以前再垃圾,你也不能说我不行。 3,就是我再不行你也不能说我的投资平台和资产不行。 4,就是未来再垃圾未来你也不能说我现在骗你。
实际上过往业绩不能代表未来表现,这句话和算命的说的“信则灵”是一样的,都是开脱责任和骗人的话。
实际上,投资最重要的事情并不是预测未来,而是,考虑所有情况,做出各种情况的应对方案。
另外,统计学,信号处理,人工智障,各个领域,都有一个弱点,那就是忘记了,过往业绩不能代表未来表现,所以你在尽力拟合历史数据的时候,一定要考虑到,如果这个宇宙飞船所有的仪器仪表全部失灵,你应该如何启动应急系统和逃生舱。
我觉得我们这个群,所有人都应该研究一下,黑洞天体内部的结构到底是什么样的,欧拉公式到底是什么,指数函数和三角函数的关系是什么,抽象代数是什么,凯利公式,香农信息论,香农采样定理是什么,傅里叶变换,拉普拉斯变换,Z变换是什么。
这样,才能从线性盯盘的思维摆脱出来。
但是,研究这一切的前提是,你真的需要有摆脱盯盘的能力,也就是说你必须有一个模式,做到能考虑所有的可能,再应对所有的可能。
最近这个,扩展包mod里的思路,解决了无监督学习的问题,解决了这个问题,能让我们把,二维变成三维,乃至更高维。
虽然是Excel,但是同样的思路可以扩展到其他语言。
我记得我们一开始是把二维混合成一维分析的,后来把两个维度分离了,然后是进行了人工的数据插值,然后是用简单函数去拟合神经网络,最近更新的MOD,已经进化到了无监督学习了。
有了这样的经验,把二维升级到3维我觉得没有问题。