Вопросы по теме 'floating-point-precision'
Почему вызов to_i для Float вычитает единицу из значения?
У меня есть случай, когда я выполняю некоторые математические операции с объектом Float, и когда я вызываю для него to_i, он уменьшается на единицу.
value = 0.29 * 100
value.to_i
=> 28
Я знаю, что числа с плавающей запятой являются...
468 просмотров
schedule
30.07.2022
Как закодированы операционные системы TI, чтобы не было ошибок с плавающей запятой?
Я провел тест на своем графическом калькуляторе, чтобы проверить наличие ошибки с плавающей запятой, и после сорока восьми часов полной и абсолютной случайности калькулятор не потерял ни одной цифры точности.
Как TI справляется с этим?
1650 просмотров
schedule
16.05.2023
Исчерпание точности с плавающей запятой в (казалось бы) бесконечном цикле
У меня есть следующий скрипт Python:
x = 300000000.0
while (x < x + x):
x = x + x
print "exec: " + str(x)
print "terminated" + str(x)
Этот, казалось бы, бесконечный цикл завершается довольно быстро, если x — число с плавающей...
360 просмотров
schedule
26.09.2022
Работа с большими целыми числами в 32-битном PHP
У меня есть класс для вычисления контрольной суммы Луна для числа. Он принимает целое число в качестве входных данных и возвращает true или false, чтобы указать допустимость или иное, или выдает исключение, если в качестве входных данных задан...
790 просмотров
schedule
19.04.2022
Потеря точности после вычитания двойного из двойного
Возможный дубликат: Сохранение точности с помощью Doubles в java
Хорошо, у меня есть следующий фрагмент кода:
int rotation = e.getWheelRotation();
if(rotation < 0)
zoom(zoom + rotation * -.05);
else if(zoom - .05 > 0)...
5713 просмотров
schedule
17.05.2022
Одни и те же матричные операции возвращают разные результаты в Matlab
У меня небольшая проблема с Matlab, я думаю, это связано с точностью Matlab, но я бы очень хотел ее решить. У меня есть три матрицы, одна называется f размером 296x3118, другая называется mapping.mean размером 1x3118 и последняя называется...
951 просмотров
schedule
27.05.2023
Понимание точности с плавающей запятой
Так ли это:
Представимые значения с плавающей запятой наиболее плотны в строке действительных чисел около нуля?
Представимые значения с плавающей запятой становятся более редкими (экспоненциально?) по мере того, как числовая линия удаляется от...
1661 просмотров
schedule
12.04.2022
Удаление конечных нулей в двойной переменной
у меня есть DLL, которая определяет множество методов, которые все возвращают double , и я не хочу ничего в ней менять. Проблема заключается в том, что когда я передаю этим методам небольшие числа, возвращаемые значения содержат слишком много...
1802 просмотров
schedule
30.07.2023
Как заставить Python отображать более 50 знаков после запятой?
Я написал эту программу для вычисления числа пи. Это дает мне 50 знаков после запятой. Как я могу получить больше точности?
# pi.py - arctan(1) * 4 = pi
from math import *
from decimal import *
err = 0.0000000000000001
def arctan(n, err):...
9208 просмотров
schedule
25.04.2023
Деление с помощью предотвращения нуля: проверка выражения делителя не приводит к нулю по сравнению с проверкой того, что делитель не равен нулю?
Возможно ли деление на ноль в следующем случае из-за ошибки с плавающей запятой при вычитании?
float x, y, z;
...
if (y != 1.0)
z = x / (y - 1.0);
Другими словами, безопаснее ли следующее?
float divisor = y - 1.0;
if (divisor != 0.0)...
3686 просмотров
schedule
05.12.2022
Как сделать, чтобы числа не отображались в научной форме?
Я хочу записать массив чисел с плавающей запятой в файлы
<?php
$x=[0.000455,0.000123,0.00005690330203];
$fname='test.txt';
$str='';
foreach($x as $elem){
$str .= "$elem\n";
}
file_put_contents($fname,$str);
?>
но в test.txt я вижу...
174 просмотров
schedule
30.09.2023
Переключение между плавающей и двойной точностью во время компиляции
На что мне смотреть, если я хочу переключаться между плавающей и двойной точностью во время компиляции. Это похоже на то, что если пользователь хочет, чтобы все было с плавающей запятой, а не с двойной точностью, как я могу сохранить эту гибкость?...
3126 просмотров
schedule
17.06.2022
регулировка поплавков для поддержания высокой точности
Я пишу некоторый код Python, который требует очень высокой степени точности. Я начал использовать Numpy float64, но это не сработало должным образом, и затем я начал использовать модуль «Десятичный», который потом работал нормально.
Однако в...
816 просмотров
schedule
27.01.2023
Почему использование по модулю для нецелочисленных значений теряет точность с плавающей запятой?
Мне интересно, почему я теряю точность при использовании этого кода:
double x = 12.0456; // or float : same result
System.out.println(x); // outputs 12.0456 obviously
x %= 1; // should now be equal to 0.0456 right?...
1934 просмотров
schedule
28.05.2022
Почему все цифры после запятой равны нулю?
Я хочу выполнить некоторые вычисления, и я хочу, чтобы результат был правильным до нескольких знаков после запятой, скажем, 12. Поэтому я написал пример:
#define PI 3.1415926535897932384626433832795028841971693993751
double d, k, h;
k =...
1055 просмотров
schedule
17.09.2022
Округление и Double.valueOf с плавающей запятой
В Java 6 есть только два метода Double#valueOf: Double#valueOf(double) и Double#valueOf(String) .
1 - Метод Witch вызывается, когда я выполняю Double#valueOf(float) ?
Согласно Javadoc, это похоже на Double#valueOf(String) , но Eclipse...
1193 просмотров
schedule
05.05.2022
вектор качества неправильно обновляется при интерполяции объекта временных рядов Matlab
Выполнение следующего кода Matlab:
% define new timeseries object, set Quality vector to zero
a=timeseries( ...
[1:6]', ...
[datenum('2010-1-1 0:00'):1/24:datenum('2010-1-1 05:59')]', ...
zeros(6,1) ...
);
% set meta data for new timeseries...
464 просмотров
schedule
01.06.2022
Какова ожидаемая ошибка при хранении десятичных дробей в виде одиночных чисел с плавающей запятой?
Я смотрю на задачу С++, которая читает файл, содержащий десятичные числа, и сохраняет каждое число в структуре данных как один 4-байтовый float . Перед изменением процесса (для использования double ) я хочу знать, какова средняя ошибка в % между...
107 просмотров
schedule
29.06.2023
Код переноса, который сравнивает 32-битные числа с плавающей запятой с использованием 64-битных, что представляет это значение?
Я портирую некоторый код, который сравнивает числа с плавающей запятой для обработки 64-битных двойных чисел вместо 32-битных с плавающей запятой, но меня немного смущают некоторые магические числа, используемые в коде.
Источник:...
122 просмотров
schedule
03.01.2023
Math.Tan() около -Pi/2 неправильно в .NET, верно в Java?
У меня сбой модульного теста на Math.Tan(-PI/2) , возвращающем неправильную версию в .NET.
«Ожидаемое» значение берется из Wolfram online (с использованием прописанной константы для -Pi/2). Убедитесь сами здесь .
Как правильно заметили в...
759 просмотров
schedule
25.06.2023
