You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-11 - 22:51
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Nov 11, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
19182301277,14sleep00-21swapper/00
26252291253,25sleep20-21swapper/22
293699263249,12cyclictest0-21swapper/22
26142261203,45sleep10-21swapper/11
25502237199,25sleep30-21swapper/33
294199210203,4cyclictest21886-21perf3
292999163156,4cyclictest21854-21cron1
292399161155,3cyclictest21876-21perf0
638721370,4sleep0292399cyclictest0
310582520,1sleep00-21swapper/00
31002520,3sleep33104-21pmu-power3
108942510,2sleep110880-21munin-run1
181822380,1sleep00-21swapper/00
103342330,2sleep10-21swapper/11
2941993223,6cyclictest11372-21irqstats3
2941993223,6cyclictest11372-21irqstats3
293699288,18cyclictest6814-21grep2
293699286,19cyclictest505-21dbus-daemon2
2936992810,4cyclictest12089-21cron2
2936992419,3cyclictest1093-21grep2
293699241,5cyclictest18618-21munin-run2
2941992317,4cyclictest4404-21users3
293699231,20cyclictest2730-21munin-run2
273532230,3sleep20-21swapper/22
2941992217,3cyclictest5856-21/usr/sbin/munin3
2941992216,4cyclictest21534-21sendmail_mailst3
2941992215,4cyclictest29840-21df3
293699224,14cyclictest32227-21lockfile-remove2
293699223,18cyclictest10505-21awk2
293699223,17cyclictest8586-21cat2
293699223,17cyclictest7520-21munin-run2
2936992215,4cyclictest19595-21sed2
293699221,3cyclictest23065-21munin-run2
2923992216,4cyclictest939-21ls0
2923992216,4cyclictest3826-21diskstats0
2923992215,4cyclictest12601-21memory0
2923992215,4cyclictest12601-21memory0
50992210,3sleep30-21swapper/33
294199212,16cyclictest29539-21sed3
2941992115,4cyclictest24740-21seq3
2941992115,4cyclictest24740-21seq3
2941992114,4cyclictest10368-21idleruntime3
294199210,9cyclictest234582idleruntime3
293699213,16cyclictest12909-21latency_hist2
293699212,17cyclictest8992-21cat2
293699212,16cyclictest0-21swapper/22
2936992116,3cyclictest24694-21munin-run2
2936992115,4cyclictest21259-21cat2
2936992115,3cyclictest15795-21idleruntime-cro2
293699211,4cyclictest11690-21latency_hist2
2936992114,4cyclictest30697-21seq2
2936992113,5cyclictest505-21dbus-daemon2
2936992111,9cyclictest28-21ksoftirqd/22
293699211,18cyclictest16267-1kworker/2:1H2
293699211,17cyclictest30518-1kworker/2:0H2
293699211,17cyclictest2177-21apt-get2
293699210,3cyclictest30699-21munin-run2
293699210,18cyclictest7295-21tr2
2929992116,3cyclictest20479-21/usr/sbin/munin1
2929992115,3cyclictest12922-21idleruntime-cro1
292999211,17cyclictest9249-21pmu-power1
292399212,3cyclictest9-21ksoftirqd/00
2923992115,4cyclictest7496-21awk0
2923992115,4cyclictest30875-21irqstats0
2923992115,4cyclictest23279-21cat0
2923992114,4cyclictest11356-21cat0
2923992114,4cyclictest11356-21cat0
2923992110,9cyclictest15554-21date0
2941992015,3cyclictest28658-21cron3
2941992015,3cyclictest14140-21dump-pmu-power3
2941992015,3cyclictest14140-21dump-pmu-power3
2941992014,4cyclictest26810-21cut3
2941992014,4cyclictest20012-21cat3
2941992014,4cyclictest1990-21seq3
2936992015,3cyclictest4776-21latency_hist2
2936992015,3cyclictest28202-21/usr/sbin/munin2
2936992015,3cyclictest24589-21diskstats2
2936992015,3cyclictest24109-21sed2
2936992015,3cyclictest24109-21sed2
2936992015,3cyclictest2340-21dump-pmu-power2
2936992015,3cyclictest13906-21memory2
2936992014,4cyclictest31208-21latency_hist2
2936992014,3cyclictest1325-21sendmail-mta2
293699201,3cyclictest9584-21perf2
293699201,3cyclictest27961-21munin-run2
2936992013,4cyclictest2082-21systemd-journal2
2936992013,4cyclictest14800-21df_inode2
2936992012,5cyclictest505-21dbus-daemon2
293699201,17cyclictest2689-1kworker/2:0H2
293699200,4cyclictest2689-1kworker/2:0H2
293699200,4cyclictest2689-1kworker/2:0H2
293699200,3cyclictest9268-21perf2
293699200,3cyclictest9268-21perf2
293699200,3cyclictest2689-1kworker/2:0H2
293699200,3cyclictest17339-21awk2
293699200,2cyclictest28676-21sendmail2
293699200,18cyclictest26332-21munin-run2
293699200,17cyclictest10895-21dump-pmu-power2
2929992016,3cyclictest0-21swapper/11
2929992015,3cyclictest3802-21sed1
2929992015,3cyclictest3044-21ntpq1
2929992015,3cyclictest20041-21sed1
2929992015,3cyclictest1654-21latency1
2929992015,3cyclictest10622-21sed1
2929992014,4cyclictest8947-21date1
2929992014,4cyclictest505-21dbus-daemon1
2929992014,4cyclictest30062-21sed1
292999201,17cyclictest15767-21sh1
2923992016,2cyclictest31034-21aten2_r9power_p0
2923992016,2cyclictest23434-21aten2_r9power_v0
2923992016,2cyclictest23434-21aten2_r9power_v0
2923992016,2cyclictest17275-21df_inode0
2923992015,3cyclictest8434-21sendmail0
2923992015,3cyclictest24601-21sh0
2923992015,3cyclictest16512-21grep0
2923992015,3cyclictest12339-21/usr/sbin/munin0
2923992015,3cyclictest12339-21/usr/sbin/munin0
2923992015,3cyclictest11172-21sh0
2923992015,3cyclictest11140-21unixbench_multi0
2923992014,4cyclictest9424-21sed0
2923992014,4cyclictest9424-21sed0
2923992014,4cyclictest8265-21cut0
2923992014,4cyclictest6539-21seq0
2923992014,4cyclictest4101-21cut0
2923992014,4cyclictest30563-21seq0
2923992014,4cyclictest29485-21basename0
2923992014,4cyclictest12247-21date0
2923992014,3cyclictest8190-21expr0
2941991915,2cyclictest8834-21processes3
2941991915,2cyclictest35-21ksoftirqd/33
2941991914,3cyclictest8494-21gzip3
2941991914,3cyclictest8494-21gzip3
2941991914,3cyclictest5173-21grep3
2941991914,3cyclictest4524-21cat3
2941991914,3cyclictest3821-21latency3
2941991914,3cyclictest29317-21expr3
2941991914,3cyclictest29210-21awk3
2941991914,3cyclictest27246-21sed3
2941991914,3cyclictest19698-21diskstats3
2941991914,3cyclictest19334-21unixbench-2d3
2941991914,3cyclictest19025-21if_enp2s03
2941991914,3cyclictest17211-21expr3
2941991914,3cyclictest16682-21awk3
2941991914,3cyclictest1531-21cat3
2941991914,3cyclictest14921-21cpu3
2941991914,3cyclictest12800-21sh3
2941991914,3cyclictest12355-21sed3
2941991914,3cyclictest12355-21sed3
2941991913,4cyclictest31751-21cat3
2941991913,3cyclictest27620-21cpuspeed_turbos3
2941991912,4cyclictest9138-21ntp_kernel_err3
2941991912,4cyclictest23367-21ntpq3
2941991912,4cyclictest17542-21sed3
294199191,16cyclictest0-21swapper/33
2936991916,2cyclictest0-21swapper/22
2936991915,2cyclictest3105-21/usr/sbin/munin2
2936991915,2cyclictest1702-21apt-config2
2936991915,2cyclictest13381-21processes2
2936991915,2cyclictest13381-21processes2
2936991914,3cyclictest4438-21gzip2
293699191,16cyclictest12500-21latency_hist2
293699191,16cyclictest12500-21latency_hist2
293699191,15cyclictest16166-21awk2
292999191,5cyclictest6797-21munin-run1
2929991915,2cyclictest5418-21/usr/sbin/munin1
2929991915,2cyclictest3386-21/usr/sbin/munin1
2929991915,2cyclictest25356-21/usr/sbin/munin1
2929991915,2cyclictest1342-21/usr/sbin/munin1
2929991914,3cyclictest5360-21cat1
2929991914,3cyclictest32274-21/usr/sbin/munin1
2929991914,3cyclictest31431-21ls1
2929991914,3cyclictest28853-21sed1
2929991914,3cyclictest27596-21seq1
2929991913,4cyclictest5851-21ls1
2929991913,4cyclictest28126-21cat1
2929991913,4cyclictest26146-21sed1
2929991913,4cyclictest23001-21grep1
2929991913,4cyclictest22753-21irqstats1
2929991913,4cyclictest14718-21wc1
2923991914,3cyclictest8692-21/usr/sbin/munin0
2923991914,3cyclictest6152-21seq0
2923991914,3cyclictest31636-21find0
2923991914,3cyclictest3119-21seq0
2923991914,3cyclictest29900-21seq0
2923991914,3cyclictest29871-21fw_packets0
2923991914,3cyclictest28143-21threads0
2923991914,3cyclictest25908-21pmu-power0
2923991914,3cyclictest21303-21apt-get0
2923991914,3cyclictest18449-21/usr/sbin/munin0
2923991914,3cyclictest14877-21seq0
2923991914,3cyclictest14772-21/usr/sbin/munin0
2923991913,4cyclictest9420-21expr0
2923991913,4cyclictest8680-21cat0
2923991913,4cyclictest23648-21seq0
2923991913,4cyclictest19570-21sed0
2923991913,4cyclictest18584-21expr0
2923991913,4cyclictest1195-21cat0
2941991816,1cyclictest0-21swapper/33
2941991814,2cyclictest24163-21apt3
2941991814,2cyclictest18402-21timerandwakeup3
2941991814,2cyclictest13293-21aten2.4-expect3
2941991813,3cyclictest7461-21expr3
2941991813,3cyclictest6980-21load3
2941991813,3cyclictest6636-21/usr/sbin/munin3
2941991813,3cyclictest32367-21if_err_enp3s03
2941991813,3cyclictest30777-21basename3
2941991813,3cyclictest28407-21vmstat3
2941991813,3cyclictest26596-21sh3
2941991813,3cyclictest22298-21awk3
2941991813,3cyclictest22141-21ntpq3
2941991813,3cyclictest15562-21expr3
2941991813,3cyclictest14744-21ntp_offset3
2941991813,3cyclictest11208-21ntp_states3
2941991813,3cyclictest10580-21cat3
294199180,16cyclictest0-21swapper/33
293699181,4cyclictest25798-21needreboot2
2936991813,3cyclictest20891-21/usr/sbin/munin2
2936991812,4cyclictest7297-21sed2
2936991812,3cyclictest2082-21systemd-journal2
2936991811,4cyclictest4240-21aten2_r9power_c2
292999182,1cyclictest0-21swapper/11
2929991816,1cyclictest0-21swapper/11
2929991814,2cyclictest6636-21/usr/sbin/munin1
2929991814,2cyclictest6229-21/usr/sbin/munin1
2929991814,2cyclictest5733-21/usr/sbin/munin1
2929991814,2cyclictest19257-21/usr/sbin/munin1
2929991814,2cyclictest16837-21/usr/sbin/munin1
2929991814,2cyclictest15177-21/usr/sbin/munin1
2929991813,3cyclictest9234-21turbostat.cron1
2929991813,3cyclictest9234-21turbostat.cron1
2929991813,3cyclictest31565-21cut1
2929991813,3cyclictest25316-21sed1
2929991813,3cyclictest25316-21sed1
2929991813,3cyclictest2082-21systemd-journal1
2929991813,3cyclictest2082-21systemd-journal1
2929991813,3cyclictest19611-21grep1
2929991813,3cyclictest19574-21wc1
2929991813,3cyclictest18240-21latency_hist1
2929991813,3cyclictest15015-21sort1
2929991813,3cyclictest11659-21sed1
2929991813,3cyclictest10717-21/usr/sbin/munin1
2929991813,3cyclictest10717-21/usr/sbin/munin1
2929991812,4cyclictest32000-21sort1
2929991812,4cyclictest21347-21cut1
2929991811,4cyclictest25299-21cat1
2923991814,2cyclictest27955-21tr0
2923991814,2cyclictest26604-21df_inode0
2923991814,2cyclictest2563-21/usr/sbin/munin0
2923991814,2cyclictest15177-21/usr/sbin/munin0
2923991813,3cyclictest6209-21cat0
2923991813,3cyclictest32660-21expr0
2923991813,3cyclictest3202-21cat0
2923991813,3cyclictest27511-21cut0
2923991813,3cyclictest25974-21cat0
2923991813,3cyclictest21174-21expr0
2923991813,3cyclictest21081-21if_enp3s00
2923991813,3cyclictest19832-21if_enp2s00
2923991813,3cyclictest17340-21open_inodes0
2923991813,3cyclictest15255-21ntpq0
2923991813,3cyclictest14367-21seq0
2923991812,4cyclictest4575-21seq0
2923991812,4cyclictest26668-21unixbench_multi0
2941991713,2cyclictest4614-21/usr/sbin/munin3
2941991713,2cyclictest12021-21ntp_states3
2941991712,3cyclictest665-21runrttasks3
2941991712,3cyclictest24879-21grep3
2941991712,3cyclictest16209-21basename3
293699171,5cyclictest28543-21find2
2936991713,2cyclictest5008-21expr2
293699170,16cyclictest0-21swapper/22
292999172,13cyclictest22151-21timerwakeupswit1
2929991715,1cyclictest0-21swapper/11
2929991715,1cyclictest0-21swapper/11
2929991715,1cyclictest0-21swapper/11
2929991713,2cyclictest665-21runrttasks1
2929991713,2cyclictest24551-21/usr/sbin/munin1
2929991712,3cyclictest2082-21systemd-journal1
2929991711,3cyclictest2082-21systemd-journal1
292999170,16cyclictest0-21swapper/11
2941991611,3cyclictest9106-21cat3
2941991611,3cyclictest32697-21cat3
293699162,8cyclictest665-21runrttasks2
2929991614,1cyclictest0-21swapper/11
2929991611,3cyclictest30937-21/usr/sbin/munin1
2929991611,3cyclictest17579-21cstates1
2929991610,4cyclictest12372-21cut1
2929991610,4cyclictest12372-21cut1
2923991611,3cyclictest6503-21swap0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional