东日制作室 (sunistudio.com) » NC-SHOW (nicrosoft.net) » 钚铑铬 (ncblog.net) 注册 | 登陆 | 归档
   Python处女作基本完成    @ 2010-05-25, 2:23

4月24日开始用Eclipse来真正的写第一个Python程序——xxsp的跨平台核心,整整一个月后的今天,基本完成了,1700余行代码(包括注释、空行)。

由于Python自带的标准库已经很强大了,这个程序完全没有使用其他第三方的模块。更重要的是,它的跨平台特性,使它特别的符合项目的需求,目前在Windows和Gentoo Linux上都已经顺利跑起来了。另外,应该说,用Python可以比较容易的把代码写得很优雅。

前两天已经提及了,这次由于在web服务端也采用了Python来写(web.py框架),使得客户端与web服务端交换数据的开发工作量大大减小。正合了CPyUG的倡议——人生苦短,我用Python。



分类:X, 工作, 钟爱Python | 2 个评论 | 345 次阅读
   Python客户端POST复杂数据结构到web服务端    @ 2010-05-21, 18:02

昨晚要解决python写的客户端向web服务端提交一个较复杂的数据结构(多层的词典),原本打算在客户端把数据结构生成XML然后POST给web服务端,然后由服务端的php脚本解析XML,不过想想转为XML,再解析XML的过程,就很繁琐,头疼。后来想未必要用XML(不需要通用,却平白增加了网络传输量),可以自己定义一个格式来传送,不过,始终因为这个数据结构比较复杂,光来回转换这个过程就觉得麻烦,更不用说传送过程中出错,服务端如何校验数据正确性等细节问题了。

后来灵光一闪,想到为什么服务端不也用Python来写呢?因为Python的pickle直接可以把整个词典对象(不论多复杂)序列化,然后POST给服务端的Python脚本来反序列化,直接就可以在服务端得到这个词典对象了。于是在web服务器(nginx)上装了flup,spawn-fcgi,以及轻巧的web.py框架(尝试了一下django,感觉太庞大、复杂了,不适合这个简单应用),然后只要几行代码就搞定了(为了减小网络传输,用zlib把序列化了的对象再压缩一下):

客户端打包:

data = zlib.compress(pickle.dumps(dict))
params = urllib.urlencode({'s':data})
...  # POST 数据

服务端解包:

class xxapp:
	def POST(self):
		data = urlparse.parse_qs(web.data())
		dict = pickle.loads(zlib.decompress(data['s'][0]))
                ...



分类:X, 工作, 钟爱Python | 2 个评论 | 473 次阅读
   明天去徐闻休假    @ 2010-05-07, 21:13

算是比较突然的,决定明天去徐闻。也好,忙了三个多月了,这几天就算是修整一下吧,所以只打算带本小说,带个T30收收邮件,就行了。

X项目从去年7月产生构想至今,已经能见到带数据的雏形了。希望5月底能正式上线内测版,比原计划又推迟了一个月,因为各种不可控的因素。其实也不算推迟了,四月底已经看到东西了,给了“投资人”一个交代了。 :grin:

<此处隐去隐私内容一段>


分类:X, 点滴随笔 | 没人评论 | 300 次阅读
   继续忙碌的四月    @ 2010-04-27, 2:37

四月上半月还是和solmyr一起在集中式魔鬼开发,月中他回四川了。

下半月,稍事轻松了几天,然后发现数据服务器瓶颈在磁盘IO上,遂采纳了老汉的建议,加了两块硬盘,把原来的raid1,重新做成了raid10,同时为提高并发处理性能,又加了一块CPU。

折腾完数据服务器后,开始熟悉Eclipse环境,做为php和python开发的IDE。Eclipse还是很好用的,很快上手了。这几天开始搞python了,虽然认识python已经很多年了,不过一直以来几次想学,总是上不了心,主要是没有实际需求要用它来开发。当现在实际的需求出现时,其实要上心还是很容易很快捷的。Python的标准库已经很强大了,这次做的sp3_cp_k所需要的功能性的模块,Python的标准库都有提供了,实在是方便。目前,就跨平台开发的便捷性来说,Python应该是最合适的了(如果你有不同意见,我们各自保留吧,免了无谓的语言之争)。

我甚至觉得,可能我以后会越来越少用Delphi了……

不过,忙碌下来,也有点感觉是不是有点上年纪了?至少,有时候人觉得疲倦了,也不像以前,睡一觉就基本上能完全恢复,这几天醒来的时候,仍然感觉疲倦。

等内测版完成,是需要休息一下下了。

另,经过4个多月的期待、等待,今天终于下手了索爱X10了,过几天就能拿到了。等休息下来了,折腾一下X10。



分类:X, 工作, 点滴随笔 | 1 个评论 | 328 次阅读
   Gentoo on Intel® RAID Controller SASMF8I    @ 2010-04-21, 7:31

数据服务器主板是Intel S5000VSA,弄了4块1T的硬盘,打算组raid10,结果Gentoo不支持主板自带的hostraid,intel官网上只提供了redhat之类的发行版的驱动。原本打算就用Linux内核自带的raid算了,不过有点不甘心。

在google搜啊搜,找到一篇俄文的文章,他说的是把intel官方提供的供红帽子用的驱动编译成模块来加载,让我看到了一些希望。不过,LiveCD没法修改,于是顺便就听从了豆大之前的建议,再加一块硬盘做boot以及系统,数据才放在阵列中。翻出一块2000年10月买的一个15G的IDE硬盘,虽然速度慢点,不过反正是装系统和启动,对以后高负荷的数据读写速度没有什么影响。在这块硬盘上先做了一个Gentoo系统,然后按照俄文文章(看不懂,猜),编译出了megasr.ko模块文件,不过,每次启动系统都提示加载模块失败。然后又寻觅折腾了许久,又找到这篇看起来莫名其妙的文章,却被其中提到的把intel的代码编译到内核里那段描述吸引了。依葫芦画瓢,设置好源码位置,配置文件等,重新编译内核,最终居然成功了!才发现,天已经亮了。。。



分类:Linux 研究, X, 工作 | 没人评论 | 689 次阅读
   魔鬼开发再告段落及计划    @ 2010-04-17, 0:46

16号一大早六点多,又送solmyr上了去广州机场的大巴,solmyr这次来珠海,也是正好一个月。

这一个月的接近魔鬼式的开发,当然,成果同样很大。

数据已经彻底在PostgreSQL中扎根了,再也不用连接SQL Server了。转移到PostgreSQL的结果,让我们大感满意,无论从性能、稳定性以及价格等方面来看,PostgreSQL都比SQL Server优秀得多(有实际对比经验,并非空口白话)。因为一些偶然+必然的因素,SQL Server让我们吃到了不小的苦头,也费了不少时间。所以,现在能彻底告别SQL Server,让人快意。

<此处隐去隐私内容一段>


分类:X, 工作 | 1 个评论 | 423 次阅读
   Free Pascal for Linux connects to Postgres    @ 2010-04-06, 22:35

今天成果,在Gentoo上安装了Free Pascal 2.4.0(in Putty),并且成功连接上了Postgres



分类:Linux 研究, X, 工作 | 2 个评论 | 481 次阅读
   迁移    @ 2010-03-27, 2:01

这周干的活,总结起来就是一句话:迁移出微软方案,干了两件事:

1、和solmyr一起,将包含若干亿记录的数据库,从Windows Server 2008 R2 + SQL Server 2005转移到Gentoo Linux + PostgreSQL 8.4。心得:SQL Server在处理海量数据以及并发处理上,还是有一些缺陷的;另外,大表的分区方案,PostgreSQL的表继承实现方式,显然比SQL Server的分区函数实现方式,在使用上要灵活得多。

2、将源代码库,从用了8年的Visual SourceSafe库中,转移到了Subversion(SVN)中了,SVN服务端也是安装在Gentoo。这样,包含源码服务器在内,几乎所有服务器都可以用Gentoo来架设了。心得:VSS确实是慢,SVN确实是更方便好用。

这些新的平台,除了本身性能以及品质更优异之外,还都是免费开源的,为将来节省下了非常可观的成本。



分类:X, 工作 | 没人评论 | 481 次阅读
   Memcached    @ 2010-03-13, 19:48

昨天搞了个XCache,和eAccelerator做了对比测试,性能相差无几,eAccelerator稍优。

今天搞好了Memcached(通过PECL::memcached/libmemcached)。

Solmyr明晚到珠海,前台开发已经就绪。 :D



分类:Linux 研究, X, 工作 | 没人评论 | 422 次阅读
   gnpp done    @ 2010-03-11, 1:29

今天(10号),把gnpp (gentoo + nginx + php-fpm + postgres) 环境架起来了。由于之前搞cnpp的时候,在centos中,我也是通过源码编译的方式安装npp的,因此,今天在gentoo下安装过程都比较顺利,基本上属于轻车熟路了。于是又加了个eAccelerator进去,提速效果很明显。明天再研究一下xcache,并定型。

至今,大部件方面的选型已经完成,Solmyr也就又要来珠海并肩工作了,期待……



分类:Linux 研究, X, 工作 | 没人评论 | 463 次阅读
12
  NC-BLOG v4 based on WordPress     版权所有© 2004-2010, 东日制作室     内容版权© Nicrosoft