You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-08-21 - 18:57
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Aug 21, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
20642258202,44sleep10-21swapper/11
19272255187,24sleep00-21swapper/00
17962250185,23sleep30-21swapper/33
227399244238,4cyclictest6897-21perf0
227399244238,4cyclictest6897-21perf0
228399230224,4cyclictest6891-21sendmail2
228399230224,4cyclictest6891-21sendmail2
19902230192,25sleep20-21swapper/22
228799226220,4cyclictest6853-21munin-run3
228799226220,4cyclictest6853-21munin-run3
2600221790,4sleep2228399cyclictest2
1930121440,1sleep20-21swapper/22
227799107103,2cyclictest6899-21sendmail-msp1
227799107103,2cyclictest6899-21sendmail-msp1
195942720,2sleep2228399cyclictest2
231852650,2sleep10-21swapper/11
204092600,3sleep00-21swapper/00
197552570,2sleep20-21swapper/22
275582540,4sleep228-21ksoftirqd/22
283552530,1sleep30-21swapper/33
15802500,1sleep10-21swapper/11
119012480,1sleep20-21swapper/22
261352460,1sleep30-21swapper/33
316102450,2sleep09-21ksoftirqd/00
98722410,2sleep10-21swapper/11
245382390,2sleep10-21swapper/11
2287993815,20cyclictest8184-21ntp_kernel_pll_3
2287993815,20cyclictest24939-21memory3
2287993715,20cyclictest27364-21cut3
2287993615,19cyclictest505-21dbus-daemon3
2287993513,3cyclictest9519-21expr3
2287993513,3cyclictest313-21cat3
2283993515,4cyclictest29546-21sed2
2283993515,4cyclictest29546-21sed2
228399351,3cyclictest8497-21latency_hist2
2287993414,2cyclictest12724-21gzip3
2287993412,4cyclictest31422-21date3
2287993412,4cyclictest19867-21entropy3
2287993412,3cyclictest21813-21idleruntime3
2283993414,3cyclictest2082-21systemd-journal2
228399341,16cyclictest505-21dbus-daemon2
2287993312,3cyclictest5161-21expr3
2287993312,3cyclictest32113-21seq3
2287993311,3cyclictest18008-21if_err_enp2s03
2287993311,3cyclictest1450-21ntpq3
2287993310,4cyclictest24414-21sed3
2287993310,3cyclictest22204-21cat3
2283993316,2cyclictest0-21swapper/22
228799325,7cyclictest0-21swapper/33
2287993213,2cyclictest15280-21sh3
2287993211,3cyclictest4431-21mailstats3
2287993211,3cyclictest20774-21seq3
2287993211,3cyclictest17495-21grep3
2287993210,4cyclictest18223-21df3
2287993210,4cyclictest10333-21gdbus3
228399323,7cyclictest15377-21apt-get2
2283993213,4cyclictest16741-21date2
228799317,4cyclictest27057-21/usr/sbin/munin3
2287993112,2cyclictest14602-21latency_hist3
2287993111,3cyclictest27247-21sed3
2287993110,3cyclictest399-21cpuspeed_turbos3
2287993110,3cyclictest21787-21ls3
2287993110,2cyclictest9785-21stty3
2283993113,3cyclictest10299-21seq2
228799309,3cyclictest1748-21cat3
228799308,3cyclictest6338-21pmu-power3
2287993010,2cyclictest8208-21swap3
2283993015,4cyclictest28-21ksoftirqd/22
228799299,3cyclictest17106-21seq3
228799292,6cyclictest8724-21apt-get3
228799282,5cyclictest10662-21apt-get3
228799281,8cyclictest16780-21apt-get3
285122250,3sleep10-21swapper/11
228799240,15cyclictest0-21swapper/33
2283992419,3cyclictest28-21ksoftirqd/22
227399240,11cyclictest5952aten2_r9power_c0
228399231,19cyclictest32199-1kworker/2:0H2
227799231,19cyclictest27115-21cut1
2273992316,4cyclictest8355-21sh0
2287992216,4cyclictest21568-21memory3
2287992213,6cyclictest29702-21taskset3
2287992213,6cyclictest29702-21taskset3
228399223,17cyclictest7377-21cat2
228399223,17cyclictest22605-21latency_hist2
228399223,17cyclictest11429-21latency_hist2
228399222,3cyclictest0-21swapper/22
228399222,18cyclictest31460-21cat2
2283992216,4cyclictest27980-21cron2
2283992210,9cyclictest665-21runrttasks2
2277992215,4cyclictest30633-21seq1
227399220,20cyclictest0-21swapper/00
228799219,10cyclictest12592-21basename3
2287992116,3cyclictest28144-21timerwakeupswit3
2287992114,4cyclictest1738-21df3
228799210,1cyclictest0-21swapper/33
228399212,17cyclictest21251-21cat2
228399212,17cyclictest21016-21latency_hist2
228399212,17cyclictest15093-21latency_hist2
228399212,16cyclictest505-21dbus-daemon2
2283992116,3cyclictest1280-21sed2
228399211,3cyclictest25072-21munin-run2
228399211,3cyclictest1899-1kworker/2:0H2
2283992113,5cyclictest2082-21systemd-journal2
228399211,18cyclictest505-21dbus-daemon2
228399211,18cyclictest2357-21munin-run2
228399211,18cyclictest10333-21gdbus2
228399210,18cyclictest22382-21cat2
2277992116,3cyclictest21-21ksoftirqd/11
227399217,3cyclictest119022latency0
2273992116,3cyclictest16762-21/usr/sbin/munin0
2273992115,4cyclictest4500-21wc0
2273992115,4cyclictest16004-21cat0
2273992112,6cyclictest16650-21sh0
2287992015,3cyclictest32737-21pluginstate3
2287992015,3cyclictest13953-21load3
2287992015,3cyclictest12970-21sh3
2287992014,4cyclictest28253-21apt-get3
2287992013,4cyclictest2873-21df3
228399208,10cyclictest28-21ksoftirqd/22
2283992015,3cyclictest9857-21sed2
2283992015,3cyclictest505-21dbus-daemon2
2283992015,3cyclictest18009-21sed2
2283992013,4cyclictest5025-21sh2
228399201,17cyclictest8902-21latency_hist2
228399201,17cyclictest32199-1kworker/2:0H2
228399201,17cyclictest27217-21cat2
2277992015,3cyclictest9869-21sed1
2277992015,3cyclictest5675-21expr1
2277992015,3cyclictest32578-21seq1
2277992014,4cyclictest8574-21seq1
2277992014,4cyclictest2751-21seq1
2277992014,4cyclictest20891-21seq1
2277992014,3cyclictest7955-21sed1
2277992014,3cyclictest5123-21ntp_offset1
2277992014,3cyclictest10944-21idleruntime-cro1
2273992015,3cyclictest9036-21seq0
2273992015,3cyclictest32490-21ntp_offset0
2273992015,3cyclictest2725-21cut0
2273992015,3cyclictest19581-21basename0
2273992014,4cyclictest5817-21df_inode0
2273992014,4cyclictest31493-21expr0
2273992014,4cyclictest23560-21seq0
2273992014,4cyclictest21403-21seq0
2273992014,3cyclictest2082-21systemd-journal0
2273992014,3cyclictest10420-21munin-run0
2273992013,5cyclictest1-21systemd0
2273992013,4cyclictest8604-21seq0
2287991915,2cyclictest4273-21aten2_r9power_c3
2287991914,3cyclictest7995-21if_enp3s03
2287991914,3cyclictest7173-21sed3
2287991914,3cyclictest32554-21ntp_kernel_err3
2287991914,3cyclictest22852-21apt3
2287991914,3cyclictest19838-21sendmail_mailst3
2287991914,3cyclictest15434-21seq3
2287991914,3cyclictest15068-21expr3
2287991914,3cyclictest13376-21sed3
228799190,17cyclictest24900-21users3
228399192,14cyclictest28399-21ntpq2
2283991915,2cyclictest15499-21sendmail2
228399191,4cyclictest24632-21sendmail2
2283991914,3cyclictest7976-21cut2
2283991914,3cyclictest31607-21/usr/sbin/munin2
2283991914,3cyclictest31521-21cat2
2283991914,3cyclictest30754-21sed2
2283991914,3cyclictest24387-21sh2
228399191,16cyclictest0-21swapper/22
228399190,17cyclictest31278-21wc2
228399190,16cyclictest0-21swapper/22
227799195,8cyclictest31627-21apt-get1
2277991915,2cyclictest4629-21/usr/sbin/munin1
2277991915,2cyclictest24883-21/usr/sbin/munin1
2277991914,3cyclictest8705-21/usr/sbin/munin1
2277991914,3cyclictest4157-21seq1
2277991914,3cyclictest3232-21/usr/sbin/munin1
2277991914,3cyclictest24599-21expr1
2277991914,3cyclictest22889-21seq1
2277991914,3cyclictest22130-21/usr/sbin/munin1
2277991914,3cyclictest20814-21/usr/sbin/munin1
2277991914,3cyclictest19265-21cut1
2277991914,3cyclictest18820-21processes1
2277991914,3cyclictest18781-21/usr/sbin/munin1
2277991914,3cyclictest16936-21sed1
2277991914,3cyclictest16641-21latency_hist1
2277991914,3cyclictest1650-21seq1
2277991914,3cyclictest14624-21cat1
2277991914,3cyclictest13202-21/usr/sbin/munin1
2277991914,3cyclictest11372-21cat1
2277991914,3cyclictest11264-21cat1
2277991913,4cyclictest28235-21/usr/sbin/munin1
2277991913,4cyclictest12243-21which1
2277991913,3cyclictest18610-21grep1
2277991912,5cyclictest32369-21sendmail1
2277991912,4cyclictest2082-21systemd-journal1
2273991914,3cyclictest8455-21gzip0
2273991914,3cyclictest4245-21sh0
2273991914,3cyclictest25431-21aten2_r9power_p0
2273991914,3cyclictest25232-21seq0
2273991914,3cyclictest22513-21timerwakeupswit0
2273991914,3cyclictest21688-21ntpq0
2273991914,3cyclictest1986-21sed0
2273991914,3cyclictest14692-21/usr/sbin/munin0
2273991913,4cyclictest30197-21cut0
2273991913,4cyclictest30197-21cut0
2273991913,4cyclictest25914-21expr0
2273991913,4cyclictest25080-21turbostat.cron0
2273991913,3cyclictest15320-21date0
2273991913,3cyclictest11175-21sh0
2273991912,4cyclictest28681-21cron0
2273991912,4cyclictest13255-21seq0
182532190,2sleep10-21swapper/11
2287991814,2cyclictest6646-21/usr/sbin/munin3
2287991813,3cyclictest23842-21seq3
2283991814,2cyclictest0-21swapper/22
2283991813,3cyclictest28757-21grep2
2283991813,3cyclictest23366-21sed2
2283991810,5cyclictest505-21dbus-daemon2
228399180,16cyclictest0-21swapper/22
228399180,15cyclictest17539-21latency_hist2
227799183,9cyclictest2617-21apt-get1
2277991816,1cyclictest0-21swapper/11
2277991816,1cyclictest0-21swapper/11
2277991814,2cyclictest13695-21/usr/sbin/munin1
2277991814,2cyclictest12623-21pmu-power1
2277991813,3cyclictest973-21expr1
2277991813,3cyclictest7708-21expr1
2277991813,3cyclictest6438-21mailstats1
2277991813,3cyclictest31700-21/usr/sbin/munin1
2277991813,3cyclictest26904-21/usr/sbin/munin1
2277991813,3cyclictest2193-21/usr/sbin/munin1
2277991813,3cyclictest20383-21basename1
2277991812,4cyclictest18688-21date1
2277991812,4cyclictest15736-21expr1
2277991811,4cyclictest29546-21seq1
2273991814,2cyclictest5676-21gzip0
2273991814,2cyclictest10643-21/usr/sbin/munin0
2273991813,3cyclictest665-21runrttasks0
2273991813,3cyclictest601-21entropy0
2273991813,3cyclictest3337-21sh0
2273991813,3cyclictest17087-21apt-key0
2273991813,3cyclictest16930-21timerandwakeup0
2273991813,3cyclictest13563-21sh0
2273991813,3cyclictest13355-21sed0
2273991813,3cyclictest1312-21acpi0
2273991813,3cyclictest10723-21grep0
2273991813,3cyclictest10609-21ls0
2273991812,4cyclictest5327-21swap0
2273991812,4cyclictest26778-21cat0
2273991812,3cyclictest22890-21aten2_r9power_e0
2273991811,5cyclictest9750-21cat0
2273991811,4cyclictest29430-21grep0
227399180,4cyclictest29166-21sendmail-mta0
2287991713,2cyclictest27434-21aten2_r9power_p3
2287991711,4cyclictest16135-21expr3
2283991713,2cyclictest23039-21latency_hist2
2283991712,3cyclictest6129-21wc2
2283991711,4cyclictest4686-21grep2
2283991711,4cyclictest1123-21date2
227799172,8cyclictest6574-21apt-get1
2277991715,1cyclictest0-21swapper/11
2277991715,1cyclictest0-21swapper/11
2277991713,2cyclictest29679-21/usr/sbin/munin1
2277991713,2cyclictest29679-21/usr/sbin/munin1
2277991713,2cyclictest12818-21/usr/sbin/munin1
2277991712,3cyclictest26579-21tr1
2277991711,4cyclictest16047-21grep1
2273991712,3cyclictest3219-21seq0
2273991712,3cyclictest29992-21seq0
2273991712,3cyclictest28936-21uptime0
2273991712,3cyclictest25039-21ntp_kernel_err0
2273991712,3cyclictest17816-21expr0
2273991712,3cyclictest13892-21cpu0
2273991711,4cyclictest31347-21sh0
2273991710,4cyclictest7529-21ntp_offset0
2287991614,1cyclictest0-21swapper/33
2273991611,3cyclictest2082-21systemd-journal0
2273991611,3cyclictest19229-21seq0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional