coder 520hacker

关注Wiki 深入分析wiki结构有机会自己弄一个...

2006-12-18T19:25:00.000-08:00

很早以前接触到wiki系统，认为自己已经对这个有了足够的研究和认识，最近认真去要开发和修改一款属于自己的wiki系统的时候，才发现自己的认识远远不够。无奈之下，只能临阵磨枪，认真的做一次wiki系统的分析，慢慢思索，一步一步调整，特撰文如下：

目前所了解和熟悉的系统中，号称开源，并切功能比较完善的，恐怕只有 http://www.hoodong.com/ 这1个站点了；可惜我php的空间又不够，自身对没有版权的系统的完善有无太多的兴趣，怕是不能立足于hoodong提供的php开源程序开进行二次开发了。

系统功能分析的话，还是应该选择hoodong自身所应用的系统，他们是利用的Java编写的系统，据说效率比提供出来的php版本要高出很多，估计也就是商业与免费的区别啊...

从导航开始看系统{ 首页|条目|分类|标签|小组 }；可以看出：

主体是wiki功能,条目|分类|标签正是wiki 的主要特征

附加有小组功能

再认真来看每个导航条目所衍生出来的功能：

内容条目相关的功能
- 版本更新功能
- 条目的创建功能|审核功能
- 标签的功能
- 分类的功能{无限级分类}
- 评论功能
- 评价功能{ 星级评价 }
- 调查功能
- 关键字功能
- 其他优化功能{ 导出pdf | 导出flash | 收藏 | 推荐 | 订阅 | 打印 }

用户系统相关的功能
- 用户的注册/资料修改功能(可能涉及到邮件发送)
- 用户好友功能
- 短消息功能
- 用户自己发布的条目
- 收藏的条目
- 参加的小组
- 订阅的条目
- 个人页面/个人虚拟域名

小组/sns相关的功能
- 群组条目
- 群组bbs
- 群组图片
- 群组邮件
- 订阅功能
- 群组管理功能（人员管理|黑名单|过滤字符|资料编辑）
- 群页面/群虚拟域名

其他功能

在进行后台设计的时候，我认为各个功能分类已经进行区别，然后以频道的形式进行管理，可以参考Powereasy的后台管理。

现假定如下：

频道（分站点）1管理
- 数据管理
- 群组管理
  - 论坛管理
  - 标签管理
  - 用户管理
- 标签管理
- 数据

生成管理
- 频道1生成
- 首页

采集管理
- 项目设定
- 采集

广告管理
- 广告位
- 广告

问卷调查管理
- 问卷
- 调用
- 模板

用户管理
- 会员管理
- 管理员管理
- 模板

系统管理
- 频道（分站点）管理
- 系统设置(组件设定|系统选项)
- 网站模板

网站的逻辑结构

[ 图 ]

开发选择：

可选开发语种,asp/aspx/ror...

Technorati : wiki project

当手机自拍形成习惯....

2006-12-08T19:31:00.000-08:00

专门写了1个转换数据用的程序。

2006-09-15T20:25:00.000-07:00

在cnweb20/pic的图片数据库中，存在很多相同图片地址的情况

有可能在多篇图片信息中存在同一图片的地址

而目前图片的地址是针对于图片信息分开保存的

这样就会在图片地址出现错误时存在影响效率的问题

多于的图片地址数据也会对数据库大家影响间接影响到数据库系统的性能

这些情况都是我所不许可的

所以我改变了数据表之间的关系把图片地址唯一化

这样就导致了我目前工作的缘由

接近30w条的数据要进行修改而且要进行复杂的皮肤和修正对于多于的数据要进行删除

对于这个需求我采用了最简单的方式用vb进行处理

在循环上为了不影响系统的运行我采用了时间的控件

加上熟悉的数据库链接 ado 2.8 呵呵~

Public conn As New ADODB.Connection
Public rs As New ADODB.Recordset
Public addFlag As Boolean

Public Function OpenCn(ByVal Cip As String, ByVal CDb As String, ByVal CUser As String, ByVal Cpass As String) As Boolean
Dim mag As String
On Error GoTo strerrmag
Set conn = New ADODB.Connection
conn.ConnectionTimeout = 25
conn.Provider = "sqloledb"
conn.Properties("data source").Value = Cip '服务器的名字
conn.Properties("initial catalog").Value = CDb '库名
'conn.Properties("integrated security").Value = "SSPI" '登陆类型
conn.Properties("user id").Value = CUser
conn.Properties("password").Value = Cpass
conn.Open
OpenCn = True
addFlag = True
'MsgBox "ok"
Set rs = New ADODB.Recordset
Exit Function
strerrmag:
mag = "Data can't connect"
Call MsgBox(mag, vbOKOnly, "Error:Data connect")
addFlag = False
Exit Function
End Function

Public Sub cloCn()
On Error Resume Next
If conn.State <> adStateClosed Then conn.Close
Set conn = Nothing
End Sub

Public Function openRs(ByVal strsql As String) As Boolean '连接数据库记录集
Dim mag As String
Dim rpy As Boolean
On Error GoTo strerrmag
If addFlag = False Then rpy = True
With rs
.ActiveConnection = conn
.CursorLocation = adUseClient
.CursorType = adOpenKeyset
.LockType = adLockOptimistic
.Open strsql
End With
addFlag = True
openRs = True

'MsgBox "ok"
'End
Exit Function
strerrmag:
mag = "data not connect"
Call MsgBox(mag, vbOKOnly, "error:connect")
openRs = False
End
'Exit Function
End Function

----------------------------

另外我还在考虑图片的重复性的问题可以对每个图片进行md5 然后在某图片显示不出来的时候自动转换到md5相同的另外1张图片地址。不过这个有可能需要下载后进行计算就显得有点得不偿失了。。

找到1段javascript的函数正在考虑由客户端下载了图片之后对图片进行md5计算然后返回服务器端

计算图片的md5呢不知道会不会很耗资源不过目前来看暂时还没有想到把图片和md5联系起来的方法

难道要用fso? My God...

----------------------------

/*
* A JavaScript implementation of the RSA Data Security, Inc. MD5 Message
* Digest Algorithm, as defined in RFC 1321.
* Version 2.1 Copyright (C) Paul Johnston 1999 - 2002.
* Other contributors: Greg Holt, Andrew Kepert, Ydnar, Lostinet
* Distributed under the BSD License
* See [url]http://pajhome.org.uk/crypt/md5[/url] for more info.
*/

/*
* Configurable variables. You may need to tweak these to be compatible with
* the server-side, but the defaults work in most cases.
*/
var hexcase = 0; /* hex output format. 0 - lowercase; 1 - uppercase */
var b64pad = ""; /* base-64 pad character. "=" for strict RFC compliance */
var chrsz = 8; /* bits per input character. 8 - ASCII; 16 - Unicode */

/*
* These are the functions you'll usually want to call
* They take string arguments and return either hex or base-64 encoded strings
*/
function hex_md5(s){ return binl2hex(core_md5(str2binl(s), s.length * chrsz));}
function b64_md5(s){ return binl2b64(core_md5(str2binl(s), s.length * chrsz));}
function str_md5(s){ return binl2str(core_md5(str2binl(s), s.length * chrsz));}
function hex_hmac_md5(key, data) { return binl2hex(core_hmac_md5(key, data)); }
function b64_hmac_md5(key, data) { return binl2b64(core_hmac_md5(key, data)); }
function str_hmac_md5(key, data) { return binl2str(core_hmac_md5(key, data)); }

/*
* Perform a simple self-test to see if the VM is working
*/
function md5_vm_test()
{
return hex_md5("abc") == "900150983cd24fb0d6963f7d28e17f72";
}

/*
* Calculate the MD5 of an array of little-endian words, and a bit length
*/
function core_md5(x, len)
{
/* append padding */
x[len >> 5] = 0x80 << ((len) % 32);
x[(((len + 64) >>> 9) << 4) + 14] = len;

var a = 1732584193;
var b = -271733879;
var c = -1732584194;
var d = 271733878;

for(var i = 0; i < x.length; i += 16)
{
var olda = a;
var oldb = b;
var oldc = c;
var oldd = d;

a = md5_ff(a, b, c, d, x[i+ 0], 7 , -680876936);
d = md5_ff(d, a, b, c, x[i+ 1], 12, -389564586);
c = md5_ff(c, d, a, b, x[i+ 2], 17, 606105819);
b = md5_ff(b, c, d, a, x[i+ 3], 22, -1044525330);
a = md5_ff(a, b, c, d, x[i+ 4], 7 , -176418897);
d = md5_ff(d, a, b, c, x[i+ 5], 12, 1200080426);
c = md5_ff(c, d, a, b, x[i+ 6], 17, -1473231341);
b = md5_ff(b, c, d, a, x[i+ 7], 22, -45705983);
a = md5_ff(a, b, c, d, x[i+ 8], 7 , 1770035416);
d = md5_ff(d, a, b, c, x[i+ 9], 12, -1958414417);
c = md5_ff(c, d, a, b, x[i+10], 17, -42063);
b = md5_ff(b, c, d, a, x[i+11], 22, -1990404162);
a = md5_ff(a, b, c, d, x[i+12], 7 , 1804603682);
d = md5_ff(d, a, b, c, x[i+13], 12, -40341101);
c = md5_ff(c, d, a, b, x[i+14], 17, -1502002290);
b = md5_ff(b, c, d, a, x[i+15], 22, 1236535329);

a = md5_gg(a, b, c, d, x[i+ 1], 5 , -165796510);
d = md5_gg(d, a, b, c, x[i+ 6], 9 , -1069501632);
c = md5_gg(c, d, a, b, x[i+11], 14, 643717713);
b = md5_gg(b, c, d, a, x[i+ 0], 20, -373897302);
a = md5_gg(a, b, c, d, x[i+ 5], 5 , -701558691);
d = md5_gg(d, a, b, c, x[i+10], 9 , 38016083);
c = md5_gg(c, d, a, b, x[i+15], 14, -660478335);
b = md5_gg(b, c, d, a, x[i+ 4], 20, -405537848);
a = md5_gg(a, b, c, d, x[i+ 9], 5 , 568446438);
d = md5_gg(d, a, b, c, x[i+14], 9 , -1019803690);
c = md5_gg(c, d, a, b, x[i+ 3], 14, -187363961);
b = md5_gg(b, c, d, a, x[i+ 8], 20, 1163531501);
a = md5_gg(a, b, c, d, x[i+13], 5 , -1444681467);
d = md5_gg(d, a, b, c, x[i+ 2], 9 , -51403784);
c = md5_gg(c, d, a, b, x[i+ 7], 14, 1735328473);
b = md5_gg(b, c, d, a, x[i+12], 20, -1926607734);

a = md5_hh(a, b, c, d, x[i+ 5], 4 , -378558);
d = md5_hh(d, a, b, c, x[i+ 8], 11, -2022574463);
c = md5_hh(c, d, a, b, x[i+11], 16, 1839030562);
b = md5_hh(b, c, d, a, x[i+14], 23, -35309556);
a = md5_hh(a, b, c, d, x[i+ 1], 4 , -1530992060);
d = md5_hh(d, a, b, c, x[i+ 4], 11, 1272893353);
c = md5_hh(c, d, a, b, x[i+ 7], 16, -155497632);
b = md5_hh(b, c, d, a, x[i+10], 23, -1094730640);
a = md5_hh(a, b, c, d, x[i+13], 4 , 681279174);
d = md5_hh(d, a, b, c, x[i+ 0], 11, -358537222);
c = md5_hh(c, d, a, b, x[i+ 3], 16, -722521979);
b = md5_hh(b, c, d, a, x[i+ 6], 23, 76029189);
a = md5_hh(a, b, c, d, x[i+ 9], 4 , -640364487);
d = md5_hh(d, a, b, c, x[i+12], 11, -421815835);
c = md5_hh(c, d, a, b, x[i+15], 16, 530742520);
b = md5_hh(b, c, d, a, x[i+ 2], 23, -995338651);

a = md5_ii(a, b, c, d, x[i+ 0], 6 , -198630844);
d = md5_ii(d, a, b, c, x[i+ 7], 10, 1126891415);
c = md5_ii(c, d, a, b, x[i+14], 15, -1416354905);
b = md5_ii(b, c, d, a, x[i+ 5], 21, -57434055);
a = md5_ii(a, b, c, d, x[i+12], 6 , 1700485571);
d = md5_ii(d, a, b, c, x[i+ 3], 10, -1894986606);
c = md5_ii(c, d, a, b, x[i+10], 15, -1051523);
b = md5_ii(b, c, d, a, x[i+ 1], 21, -2054922799);
a = md5_ii(a, b, c, d, x[i+ 8], 6 , 1873313359);
d = md5_ii(d, a, b, c, x[i+15], 10, -30611744);
c = md5_ii(c, d, a, b, x[i+ 6], 15, -1560198380);
b = md5_ii(b, c, d, a, x[i+13], 21, 1309151649);
a = md5_ii(a, b, c, d, x[i+ 4], 6 , -145523070);
d = md5_ii(d, a, b, c, x[i+11], 10, -1120210379);
c = md5_ii(c, d, a, b, x[i+ 2], 15, 718787259);
b = md5_ii(b, c, d, a, x[i+ 9], 21, -343485551);

a = safe_add(a, olda);
b = safe_add(b, oldb);
c = safe_add(c, oldc);
d = safe_add(d, oldd);
}
return Array(a, b, c, d);

}

/*
* These functions implement the four basic operations the algorithm uses.
*/
function md5_cmn(q, a, b, x, s, t)
{
return safe_add(bit_rol(safe_add(safe_add(a, q), safe_add(x, t)), s),b);
}
function md5_ff(a, b, c, d, x, s, t)
{
return md5_cmn((b & c) ((~b) & d), a, b, x, s, t);
}
function md5_gg(a, b, c, d, x, s, t)
{
return md5_cmn((b & d) (c & (~d)), a, b, x, s, t);
}
function md5_hh(a, b, c, d, x, s, t)
{
return md5_cmn(b ^ c ^ d, a, b, x, s, t);
}
function md5_ii(a, b, c, d, x, s, t)
{
return md5_cmn(c ^ (b (~d)), a, b, x, s, t);
}

/*
* Calculate the HMAC-MD5, of a key and some data
*/
function core_hmac_md5(key, data)
{
var bkey = str2binl(key);
if(bkey.length > 16) bkey = core_md5(bkey, key.length * chrsz);

var ipad = Array(16), opad = Array(16);
for(var i = 0; i < 16; i++)
{
ipad[i] = bkey[i] ^ 0x36363636;
opad[i] = bkey[i] ^ 0x5C5C5C5C;
}

var hash = core_md5(ipad.concat(str2binl(data)), 512 + data.length * chrsz);
return core_md5(opad.concat(hash), 512 + 128);
}

/*
* Add integers, wrapping at 2^32. This uses 16-bit operations internally
* to work around bugs in some JS interpreters.
*/
function safe_add(x, y)
{
var lsw = (x & 0xFFFF) + (y & 0xFFFF);
var msw = (x >> 16) + (y >> 16) + (lsw >> 16);
return (msw << 16) (lsw & 0xFFFF);
}

/*
* Bitwise rotate a 32-bit number to the left.
*/
function bit_rol(num, cnt)
{
return (num << cnt) (num >>> (32 - cnt));
}

/*
* Convert a string to an array of little-endian words
* If chrsz is ASCII, characters >255 have their hi-byte silently ignored.
*/
function str2binl(str)
{
var bin = Array();
var mask = (1 << chrsz) - 1;
for(var i = 0; i < str.length * chrsz; i += chrsz)
bin[i>>5] = (str.charCodeAt(i / chrsz) & mask) << (i%32);
return bin;
}

/*
* Convert an array of little-endian words to a string
*/
function binl2str(bin)
{
var str = "";
var mask = (1 << chrsz) - 1;
for(var i = 0; i < bin.length * 32; i += chrsz)
str += String.fromCharCode((bin[i>>5] >>> (i % 32)) & mask);
return str;
}

/*
* Convert an array of little-endian words to a hex string.
*/
function binl2hex(binarray)
{
var hex_tab = hexcase ? "0123456789ABCDEF" : "0123456789abcdef";
var str = "";
for(var i = 0; i < binarray.length * 4; i++)
{
str += hex_tab.charAt((binarray[i>>2] >> ((i%4)*8+4)) & 0xF) +
hex_tab.charAt((binarray[i>>2] >> ((i%4)*8 )) & 0xF);
}
return str;
}

/*
* Convert an array of little-endian words to a base-64 string
*/
function binl2b64(binarray)
{
var tab = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
var str = "";
for(var i = 0; i < binarray.length * 4; i += 3)
{
var triplet = (((binarray[i >> 2] >> 8 * ( i %4)) & 0xFF) << 16)
(((binarray[i+1 >> 2] >> 8 * ((i+1)%4)) & 0xFF) << 8 )
((binarray[i+2 >> 2] >> 8 * ((i+2)%4)) & 0xFF);
for(var j = 0; j < 4; j++)
{
if(i * 8 + j * 6 > binarray.length * 32) str += b64pad;
else str += tab.charAt((triplet >> 6*(3-j)) & 0x3F);
}
}
return str;
}

------------------------------

另外还找到这么一段，=。= 把图片下载刀本地然后计算md5 怎么看都是网页木马的做法啊。。。

------------------------------

Javascript计算二进制文件MD5 Hash的代码

说是用Javascript，其实是调用了COM组件。只不过用JS的语法而已。
FSO的 File对象是无法读二进制文件的，只能读取文本。所以我在使用FSO去读取文件计算MD5 Hash的时候总是会出现莫名其妙的问题。这个也是我在用FSO前就估计到了的，但是一直没有找到好方法解决。后来终于想到用ADODB.Stream对象。哎，以前在瑞星的时候还写过删除这个对象的程序，现在竟然忘记了他能读取二进制文件。看来老了，呵呵。
代码如下：
var adoStream = new ActiveXObject("ADODB.Stream");
adoStream.Type = 1; // 1=adTypeBinary
adoStream.Open();
adoStream.LoadFromFile("\\\\127.0.0.1\\C$\\Windows\\regedit.exe");
var g_hashed = new ActiveXObject( "CAPICOM.HashedData" );
g_hashed.Algorithm = 3; // MD5
g_hashed.Hash( adoStream.Read() );
adoStream.Close();
//B313C22A27D1D8677CDEC778346D817E
System.println(g_hashed.Value);
这里注意一点，由于我是使用adoStream.Read()一下将文件内容全部读到内存缓冲区中，所以在遇到大文件时，需要改写上面代码，每次读1024或2048 Bytes比较合适。然后对每次读出的内容均调用Hash函数，最终在读取Value属性的值即可。