Вопросы по теме 'rounding-error'
Есть ли способ усечь числа в научной записи в Javascript?
Как вы все знаете, поскольку это одна из наиболее часто задаваемых тем в SO, у меня возникают проблемы с ошибками округления (на самом деле это не ошибки, мне хорошо известно). Вместо того, чтобы объяснять свою точку зрения, я приведу пример того,...
2700 просмотров
schedule
22.04.2022
Ошибка округления PHP
Я использую PHP 5.2.13 на своем Linux-сервере. Я получаю странную ошибку при округлении чисел. Это мой тестовый пример:
<?php
echo " " . round(1.505, 2) . "\n";
echo " " . round(11.505, 2) . "\n";
echo " " . round(111.505,...
11730 просмотров
schedule
06.09.2022
Невозможно вставить десятичную таблицу в таблицу сервера sql через код С#
Я не могу вставить десятичные значения в таблицу Sql Server.
То, что я пытаюсь сделать, самоочевидно с помощью этих строк кода:
long fileSizeInBytes = ComponentUploadControl.FileContent.Length;
Decimal fileSizeInMB =...
10774 просмотров
schedule
24.07.2023
Неточности округления при объединении областей в Java?
Я работаю с Areas на Java.
Моя тестовая программа рисует три случайных треугольника и объединяет их в один или несколько многоугольников. После того, как Areas объединены .add() , я использую PathIterator для трассировки краев.
Однако...
1659 просмотров
schedule
01.02.2023
Странное поведение при преобразовании десятичного числа в двойное
У меня возникает странная проблема при преобразовании десятичного числа в двойное.
Следующий код возвращает true:
Math.Round(0.010000000312312m, 2) == 0.01m //true
Однако, когда я привожу это к двойному значению, оно возвращает false:...
1049 просмотров
schedule
16.05.2022
Быстрое округление вверх/вниз в фортране?
Есть ли быстрый способ сделать округление вверх/вниз в Фортране?
Из-за линейного порядка битового представления положительных двойных чисел можно реализовать округление, как показано ниже.
pinf и ninf — глобальные константы, равные +/-...
1201 просмотров
schedule
24.01.2023
Деление 2-значной десятичной точки без округления результатов
У меня проблема с результатами программы, которую я разрабатываю.
Например, если у меня есть число 8672,59, и я хотел бы разделить его на 2, результат должен быть 4336,295. Вопрос в том, как я могу преобразовать его в 2-значную десятичную точку с...
1055 просмотров
schedule
20.11.2022
Ошибка округления в ASP (vbscript)
Я очень мало знаю о ASP или Vb Script. Я пытаюсь устранить ошибку, из-за которой процедура, написанная на классическом ASP, неожиданно округляется до меньшего нечетного числа.
Насколько я понимаю, Round() должен «округляться до четного»....
3910 просмотров
schedule
19.12.2022
Получение недооцененных коэффициентов с плавающей запятой
Большинство физических движков поддерживают выполнение трассировки траектории объекта, которая возвращает коэффициент от 0,0 до 1,0, представляющий, как далеко по траектории объекта он впервые столкнется с объектом.
Проблема, которая меня...
90 просмотров
schedule
10.01.2023
Пакет Python и Java для точности с плавающей запятой
Во время написания программы на питоне (то же самое на Java) я столкнулся со следующей проблемой, которая, как я знаю, связана с ошибкой округления.
a = 0.3
b = 0.6;
print(a+b) #returns 0.8999999999999999 which makes a+b==0.9 false
Мне было...
124 просмотров
schedule
16.02.2024
Ошибка базы данных Haskell
Я пытаюсь вычислить длину целого числа в Haskell, используя тот факт, что длина равна truncate (log10(x)+1) .
Используя целые числа, которые я создал:
len :: Integer -> Integer
len i = toInteger (truncate (logBase 10 (fromIntegral i)) + 1)...
1206 просмотров
schedule
20.05.2022
Можно ли добиться арифметики произвольной точности без проблем с округлением в JavaScript?
Я пробовал big.js, bignumber.js и decimal.js; все они работают достаточно хорошо до определенного момента, но терпят неудачу, когда мне нужно выполнять вычисления произвольной точности с достаточно большим количеством «нечетных» цифр (мой текущий...
344 просмотров
schedule
04.02.2023
Попытка имитировать округление Excel вызывает у меня горе
Значение является результатом деления суммы 2,01 и 2,52 на 2 (2.01 + 2.52) / 2 . Excel отображает это значение как 2,265, а при форматировании до 2 цифр — 2,27. Однако значение, хранящееся в файле, равно 2,2649999999999997. Когда я воссоздаю это...
475 просмотров
schedule
19.06.2022
Проблема округления налогов при наличии нескольких налоговых классов в woocommerce
У меня проблема с округлением сумм налоговых классов в WooCommerce 3.2.3 на Wordpress 4.8.3.
Суммы каждого из 2 налоговых классов правильно отображаются с двумя десятичными знаками при отображении в корзине и на странице оформления заказа. Однако...
1272 просмотров
schedule
06.04.2022
Двойное десятичное округление в С++
Я беру double и делю его на 1000, а затем вывожу до 5 знаков после запятой. Однако округление происходит, и я не уверен, как убедиться, что это не так.
double dbl1;
cout << "Enter: ";
cin >> dbl1;
dbl1 = dbl1 /...
63 просмотров
schedule
26.07.2023
Несоответствие Delphi Roundto и FormatFloat
Я получаю странность округления в Delphi 2010, где некоторые числа округляются в меньшую сторону, но увеличиваются в formatfloat.
Я полностью осведомлен о двоичном представлении десятичных чисел, иногда приводящих к неверным результатам, но в этом...
1398 просмотров
schedule
07.05.2023
Как округлить число до другого числа, но только если оно находится в пределах 0,0001 от этого значения. бывший раунд 5,999 к 6, но не 5,93 к 6?
Squareroot вызывает длинное десятичное число, которое не равно. например 3.199999 не равно 3.2.
Я прошу пользователя ввести точки, чтобы увидеть, является ли форма треугольником. Если точки образуют треугольник... программа определяет, какой...
48 просмотров
schedule
03.07.2023
Что происходит с битами frac, когда число с плавающей запятой является субнормальным числом?
Я конвертирую число с плавающей запятой в биты. Для простоты предположим, что есть 4 бита экспоненты и 4 бита дроби. Предположим, что значение битов frac равно 1/4, то есть 0100. И скажем, что значение e равно -9, поэтому показатель степени равен -2...
40 просмотров
schedule
26.03.2023
Почему Java округляет мое двойное значение?
Я пытаюсь написать программу Java, которая находит сумму следующего ряда, используя вход для значения n:
Код, который я написал, выглядит следующим образом:
package sum_of_series1;
import java.util.Scanner;
public class Sum_of_series1
{...
67 просмотров
schedule
05.11.2022
