Я тестирую что-то в Oracle и заполняю таблицу некоторыми образцами данных, но в процессе я случайно загрузил повторяющиеся записи, поэтому теперь я не могу создать первичный ключ, используя некоторые столбцы.
Как удалить все повторяющиеся строки и оставить только одну из них?
Используйте псевдоколонку rowid.
DELETE FROM your_table
WHERE rowid not in
(SELECT MIN(rowid)
FROM your_table
GROUP BY column1, column2, column3);
Где column1, column2 и column3 составляют идентификационный ключ для каждой записи. Вы можете перечислить все свои столбцы.
delete from t
where rowid IN ( select rid
from (select rowid rid,
row_number() over (partition by
companyid, agentid, class , status, terminationdate
order by rowid) rn
from t)
where rn <> 1);
(исправлены недостающие круглые скобки)
С DevX.com:
DELETE FROM our_table
WHERE rowid not in
(SELECT MIN(rowid)
FROM our_table
GROUP BY column1, column2, column3...) ;
Где column1, column2 и т. Д. - это ключ, который вы хотите использовать.
delete from emp
where rowid not in
(select max(rowid) from emp group by empno);
delete from emp where rowid in
(
select rid from
(
select rowid rid,
row_number() over(partition by empno order by empno) rn
from emp
)
where rn > 1
);
delete from emp e1
where rowid not in
(select max(rowid) from emp e2
where e1.empno = e2.empno );
создать таблицу t2 как выбрать отличную * от t1;
distinct * будет брать каждую запись, которая отличается хотя бы 1 символом в 1 столбце. Все, что вам нужно, это выбрать отдельные значения только из столбцов, которые вы хотите сделать первичными ключами - ответ Билла - отличный пример такого подхода.
- person Nogard; 11.01.2013
Вы должны создать небольшой блок pl / sql с помощью курсора для цикла и удалить строки, которые вы не хотите сохранять. Например:
declare
prev_var my_table.var1%TYPE;
begin
for t in (select var1 from my_table order by var 1) LOOP
-- if previous var equal current var, delete the row, else keep on going.
end loop;
end;
Для выбора дубликатов можно использовать только формат запроса:
SELECT GroupFunction(column1), GroupFunction(column2),...,
COUNT(column1), column1, column2...
FROM our_table
GROUP BY column1, column2, column3...
HAVING COUNT(column1) > 1
Итак, правильный запрос в соответствии с другим предложением:
DELETE FROM tablename a
WHERE a.ROWID > ANY (SELECT b.ROWID
FROM tablename b
WHERE a.fieldname = b.fieldname
AND a.fieldname2 = b.fieldname2
AND ....so on.. to identify the duplicate rows....)
Этот запрос сохранит самую старую запись в базе данных для критериев, выбранных в WHERE CLAUSE.
Сертифицированный партнер Oracle (2008 г.)
Самый быстрый способ для действительно больших столов
Создайте таблицу исключений со структурой ниже: exceptions_table
ROW_ID ROWID
OWNER VARCHAR2(30)
TABLE_NAME VARCHAR2(30)
CONSTRAINT VARCHAR2(30)
Попробуйте создать уникальное ограничение или первичный ключ, который будет нарушен дубликатами. Вы получите сообщение об ошибке, потому что у вас есть дубликаты. Таблица исключений будет содержать идентификаторы повторяющихся строк.
alter table add constraint
unique --or primary key
(dupfield1,dupfield2) exceptions into exceptions_table;
Присоединяйтесь к своей таблице с помощью exceptions_table по rowid и удаляйте дубли
delete original_dups where rowid in (select ROW_ID from exceptions_table);
Если количество удаляемых строк велико, создайте новую таблицу (со всеми грантами и индексами), предотвращающую объединение с exceptions_table по rowid, переименуйте исходную таблицу в таблицу original_dups и переименуйте new_table_with_no_dups в исходную таблицу
create table new_table_with_no_dups AS (
select field1, field2 ........
from original_dups t1
where not exists ( select null from exceptions_table T2 where t1.rowid = t2.row_id )
)
Используя rowid-
delete from emp
where rowid not in
(select max(rowid) from emp group by empno);
Использование самостоятельного соединения
delete from emp e1
where rowid not in
(select max(rowid) from emp e2
where e1.empno = e2.empno );
delete from emp where rowid in
(
select rid from
(
select rowid rid,
dense_rank() over(partition by empno order by rowid
) rn
from emp
)
where rn > 1
);
1. решение
delete from emp
where rowid not in
(select max(rowid) from emp group by empno);
2. Sloution
delete from emp where rowid in
(
select rid from
(
select rowid rid,
row_number() over(partition by empno order by empno) rn
from emp
)
where rn > 1
);
3-е решение
delete from emp e1
where rowid not in
(select max(rowid) from emp e2
where e1.empno = e2.empno );
4. решение
delete from emp where rowid in
(
select rid from
(
select rowid rid,
dense_rank() over(partition by empno order by rowid
) rn
from emp
)
where rn > 1
);
5. решение
delete from emp where rowid in
(
select rid from
(
select rowid rid,rank() over (partition by emp_id order by rowid)rn from emp
)
where rn > 1
);
DELETE from table_name where rowid not in (select min(rowid) FROM table_name group by column_name);
и вы также можете удалить повторяющиеся записи другим способом
DELETE from table_name a where rowid > (select min(rowid) FROM table_name b where a.column=b.column);
Вот что я написал для лучшей производительности:
(см. План выполнения)
DELETE FROM your_table
WHERE rowid IN
(select t1.rowid from your_table t1
LEFT OUTER JOIN (
SELECT MIN(rowid) as rowid, column1,column2, column3
FROM your_table
GROUP BY column1, column2, column3
) co1 ON (t1.rowid = co1.rowid)
WHERE co1.rowid IS NULL
);
Проверьте ниже скрипты -
1.
Create table test(id int,sal int);
2.
insert into test values(1,100);
insert into test values(1,100);
insert into test values(2,200);
insert into test values(2,200);
insert into test values(3,300);
insert into test values(3,300);
commit;
3.
select * from test;
Здесь вы увидите 6 записей.
4. запустите ниже запрос -
delete from
test
where rowid in
(select rowid from
(select
rowid,
row_number()
over
(partition by id order by sal) dup
from test)
where dup > 1)
select * from test; Вы увидите, что повторяющиеся записи были удалены.
Надеюсь, это решит ваш запрос. Спасибо :)
Я не видел ответов, в которых используются общие табличные выражения и оконные функции. Это то, с чем мне легче всего работать.
DELETE FROM
YourTable
WHERE
ROWID IN
(WITH Duplicates
AS (SELECT
ROWID RID,
ROW_NUMBER()
OVER(
PARTITION BY First_Name, Last_Name, Birth_Date)
AS RN
SUM(1)
OVER(
PARTITION BY First_Name, Last_Name, Birth_Date
ORDER BY ROWID ROWS BETWEEN UNBOUNDED PRECEDING
AND UNBOUNDED FOLLOWING)
AS CNT
FROM
YourTable
WHERE
Load_Date IS NULL)
SELECT
RID
FROM
duplicates
WHERE
RN > 1);
На заметку:
1) Мы проверяем только дублирование полей в разделе раздела.
2) Если у вас есть причина выбрать один дубликат поверх других, вы можете использовать предложение order by, чтобы эта строка имела row_number () = 1
3) Вы можете изменить сохраняемый дубликат номера, изменив последнее предложение where на «Where RN> N» с N> = 1 (я думал, что N = 0 удалит все строки с дубликатами, но просто удалит все строки) .
4) Добавлено поле Sum partition для запроса CTE, которое помечает каждую строку числом строк в группе. Поэтому для выбора строк с дубликатами, включая первый элемент, используйте «WHERE cnt> 1».
Это сообщение в блоге было действительно полезно для общих случаев:
Если строки полностью дублированы (все значения во всех столбцах могут иметь копии), столбцов для использования нет! Но чтобы сохранить его, вам все равно понадобится уникальный идентификатор для каждой строки в каждой группе. К счастью, в Oracle уже есть кое-что, что вы можете использовать. Гребец. У всех строк в Oracle есть rowid. Это физический локатор. То есть он указывает, где на диске Oracle хранит строку. Это уникально для каждой строки. Таким образом, вы можете использовать это значение для идентификации и удаления копий. Для этого замените min () на min (rowid) в некоррелированном удалении:
delete films
where rowid not in (
select min(rowid)
from films
group by title, uk_release_date
)
решение :
delete from emp where rowid in
(
select rid from
(
select rowid rid,
row_number() over(partition by empno order by empno) rn
from emp
)
where rn > 1
);
