作者:邹建 来源:CSDN博客   酷勤网收集 2008-05-11

摘要
  假设我要在10000000 - 99999999之间产生100万个不重复的随机数。可以建立一个表table1,这个表有两个字段,一个是所产生的随机数字段(int型),另外一个也是int型字段。 使用99999999 - 10000000 =89999999 整除 1000000 = 89(舍去)。

如何快速生成100万不重复的8位编号,对于这个问题,有几点是需要注意的:

1.    如何生成8位随机数,生成的数越随机,重复的可能性当然越小

2.    控制不重复

3.    考虑性能

针对这个问题,我写了如下的示例来解决,希望能为有这类需求的人提供指导

 

生成100万条8位不重复数据的示例

USE tempdb

GO

 

-- 创建测试表

CREATE TABLE tb(id char(8))

 

-- 创建用于自动过滤重复值的唯一索引

CREATE UNIQUE INDEX IX_tb ON tb(id)

WITH IGNORE_DUP_KEY

GO

 

-- 测试数据插入的处理时间, 记录开始处理的时间点

DECLARE @dt datetime

SET @dt = GETDATE()

 

-- 插入随机数据

SET NOCOUNT ON

DECLARE @row int

SET @row = 1000000  -- 设置总记录数

WHILE @row >0

BEGIN

    -- 显示提示信息, 表示还需要插入多行数据

    RAISERROR('need %d rows', 10, 1, @row) WITH NOWAIT

 

    -- 插入随机的位编码数据

    SET ROWCOUNT @row

    INSERT tb SELECT

        id = RIGHT(100000000 + CONVERT(bigint, ABS(CHECKSUM(NEWID()))), 8)

    FROM syscolumns c1, syscolumns c2

    SET @row = @row - @@ROWCOUNT

END

 

-- 显示插入数据使用的时间

SELECT BeginDate = @dt, EndDate = GETDATE(),

    Second = DATEDIFF(Second, @dt, GETDATE()),

GO

 

-- 显示最终的结果记录是否正确

SELECT COUNT(*) FROM tb

GO

 

-- 删除测试

DROP TABLE tb

 

解决中用到的技巧:

1.    控制产生的数据不重复,直接使用唯一索引中的 IGNORE_DUP_KEY 选项,使插入数据中的重复值自动过滤,避免手工处理重复

2.    使用 CHECKSUM 配合 NEWID() 函数,使生成的数据尽量随机,一般生成随机数会考虑使用 RAND() 函数,但这个函数是产生伪随机值,用下面的语句测试一下,会发现产生的数据全部是一样的,这不适用于想批量生成多个随机数,而NEWID() 函数生成的是GUID,基本上不会有重复的,再通过CHECKSUM将其转化成数字,这样产生重复的可能性会比较小

SELECT TOP 10

    RAND()

FROM sysobjects

3.    在效率控制,使用循环+批量生成的方式,而不是传统的逐个生成。在SQL Server中,每个插入语句都会有一个内部的事务处理,如果逐条插入,则事务的开销太大,效率势必非常低;不考虑一次性生成100万数据,一则因为生成的数据可能有重复的,去掉重复就没有100万了,二则一次性生成100万数据,消耗的内存和CPU资源也很高,一般的电脑可能承受不住

    假设我要在10000000 - 99999999之间产生100万个不重复的随机数。可以建立一个表table1,这个表有两个字段,一个是所产生的随机数字段(int型),另外一个也是int型字段。

评论:

#atomic_age 发表于2006-08-22 08:40:00  IP: 218.25.53.*
哈哈,上面写的有些bug

假设我要在10000000 - 99999999之间产生100万个不重复的随机数。可以建立一个表table1,这个表有两个字段,一个是所产生的随机数字段(int型),另外一个也是int型字段。
使用99999999 - 10000000 =89999999 整除 1000000 = 89(舍去)。然后从10000000开始循环1000000次,从10000000开始每一次加89,
即10000000、10000089、10000178...
然后每循环一次,使用newid生成一个随机数,将这两个数做为值插入table1中。即第一个字段插入按步长89递增的数,第二个数是使用newid随机生成的数。这样,table1就有100万条记录了,不过随机值是顺序的。但由于第二个字段是随机的,因此,只要按第二个字段排序,第一个字段上的值就是随机的。

这样做不用检查重复值就可以保证得到1000000个无重复的随机数。而且它们是均匀分布在10000000到99999999之间。
当然,也可以随机变化89的步长,使其更加随机。
这样做还有一个好处,可以分批地生成记录,然后一起插入表中。如一次产生1000条这样的记录,插入后再产生下一千条记录。这样只要循环1000次就可完成。

至于代码,很简单,自己写吧,这里只给出思路!!
#myan 发表于2006-08-21 22:28:00  IP: 219.236.56.*
楼主是数据库专家,用数据库的方法来解决问题是无可厚非。如果让我来做的话,我会用STL里的shuffle算法来做。对于100万这样的规模来说,应该是轻而易举的。

来自:如何快速生成100万不重复的8位编号

分类: 算法艺术 设计模式

上一篇:全排列算法原理和实现   下一篇:整数划分算法原理与实现