You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-13 - 10:19

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Fri Mar 13, 2026 00:45:28)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2078350991084,9cyclictest131rcu_preempt19:35:011
2078350998729,19cyclictest2147465-21sh23:30:061
2078350998529,21cyclictest2105189-21sh21:55:511
2078350997930,16cyclictest2097186-21ssh21:38:111
2078350997929,20cyclictest2177173-21sh00:36:371
2078350997829,13cyclictest2111243-21sh22:09:361
2078350997730,14cyclictest2100489-21ssh21:45:081
2078347997727,20cyclictest2169656-21ssh00:20:000
2078347997723,37cyclictest2100607-21ssh21:45:240
2078350997324,13cyclictest2135018-21ssh23:02:401
2078350997226,13cyclictest2136691-21diskmemload23:06:161
2078350997026,14cyclictest2144395-21ssh23:23:421
2078350997026,14cyclictest2144395-21ssh23:23:411
2078347997024,13cyclictest2156230-21latency_hist23:50:020
2078347996829,11cyclictest1-21systemd21:18:210
2078350996628,6cyclictest2140373-21ssh23:14:591
2078350996628,6cyclictest2140373-21ssh23:14:581
2078347996627,33cyclictest2118314-21latency_hist22:25:030
2078347996616,46cyclictest2149478-21systemd-run23:35:010
2078347996554,6cyclictest2140388-21cron23:15:010
2078347996554,6cyclictest2140388-21cron23:15:010
2078350996419,11cyclictest0-21swapper/122:26:091
2078347996325,34cyclictest0-21swapper/021:25:000
2078347996316,42cyclictest2098217-21cat21:40:030
2078347996228,31cyclictest2136659-21ssh23:06:110
2078347996219,10cyclictest2102928-21ssh21:50:440
2078347996120,38cyclictest2160617-21modprobe00:00:000
2078347996119,36cyclictest309-21in:imuxsock19:20:000
2078347996119,36cyclictest2093682-21latency_hist21:30:030
2078350996046,11cyclictest2155762-21ssh23:49:001
2078350996039,17cyclictest2129056-21sh22:49:291
2078350996035,21cyclictest2130417-21ssh22:52:201
2078347996028,28cyclictest16850irq/134-800000021:40:190
2078347996023,11cyclictest2086903-21latency_hist21:15:020
2078350995944,12cyclictest2175816-21ssh00:33:491
2078347995942,12cyclictest275-21dbus-daemon20:40:010
2078347995942,12cyclictest275-21dbus-daemon20:40:000
2078347995920,34cyclictest16850irq/134-800000022:55:000
2078347995918,37cyclictest2106943-21munin-run22:00:020
2078347995917,39cyclictest2129003-21ssh22:49:230
2078356995814,13cyclictest2084530-21diskmemload23:42:442
2078350995837,15cyclictest2152510-21rm23:41:361
2078350995832,21cyclictest2095164-21ssh21:33:361
2078350995829,24cyclictest2141195-21ssh23:16:221
2078350995819,13cyclictest150-21pr/ttyS223:36:141
2078350995819,13cyclictest150-21pr/ttyS223:36:141
207835099580,15cyclictest2173365-21sh00:28:171
2078347995829,25cyclictest2170052-21ssh00:20:370
2078347995821,4cyclictest2084528-21latency_hist21:10:010
2078347995817,9cyclictest2162505-21ssh00:04:050
2078347995817,9cyclictest2162505-21ssh00:04:050
2078356995747,6cyclictest2098031-21kworker/2:121:49:592
2078350995744,10cyclictest2108942-21ssh22:04:351
2078350995735,18cyclictest2082448-21modprobe20:29:591
2078347995717,36cyclictest0-21swapper/023:55:020
2078347995717,13cyclictest2122498-21unin-run22:35:020
2078350995643,10cyclictest2087176-21ssh21:15:241
2078350995641,12cyclictest2121032-21ssh22:31:121
2078350995639,13cyclictest1-21systemd19:15:001
2078350995637,15cyclictest2159108-21ssh23:56:211
2078350995636,15cyclictest2078849-21unin-run19:20:001
2078350995634,17cyclictest1-21systemd19:30:011
2078350995632,19cyclictest2157488-21ssh23:52:451
2078350995631,20cyclictest2099731-21ssh21:43:531
2078350995631,20cyclictest2083628-21latency_hist20:50:021
2078350995630,21cyclictest2081669-21munin-run20:15:001
2078347995627,25cyclictest2084530-21diskmemload23:45:010
2078347995626,14cyclictest2150588-21ssh23:37:210
2078347995626,14cyclictest2150588-21ssh23:37:210
207834799562,15cyclictest2178561-21grep00:40:010
2078347995618,16cyclictest16850irq/134-800000023:17:530
2078350995542,10cyclictest2085520-21ssh21:11:481
2078350995541,12cyclictest2112449-21ssh22:12:091
2078350995538,13cyclictest2167925-21ssh00:15:551
2078350995537,14cyclictest2166518-21ssh00:12:591
2078350995537,14cyclictest2103301-21ssh21:51:371
2078350995536,15cyclictest2161726-21ssh00:02:051
2078350995536,15cyclictest2161726-21ssh00:02:041
2078350995533,17cyclictest2126118-21ssh22:42:461
2078350995532,18cyclictest2114307-21ssh22:16:081
2078350995530,21cyclictest2124941-21latency_hist22:40:021
2078347995529,22cyclictest2114720-21ssh22:17:160
2078347995527,3cyclictest2123206-21ssh22:36:140
2078356995446,5cyclictest2129569-21kworker/2:023:03:292
2078350995441,10cyclictest364-21snmpd19:47:381
2078350995439,12cyclictest2089388-21ssh21:20:171
2078350995438,13cyclictest2165084-21ssh00:10:001
2078350995438,12cyclictest2145629-21ssh23:26:031
2078350995436,16cyclictest2116722-21ssh22:21:371
2078350995434,16cyclictest2091817-21ssh21:25:511
2078350995431,18cyclictest2131762-21ssh22:55:091
2078350995429,22cyclictest2170390-21ssh00:21:251
2078347995426,13cyclictest2173684-21ssh00:29:030
2078347995426,12cyclictest2133245-21ssh22:59:000
2078347995420,30cyclictest16850irq/134-800000000:11:290
2078347995419,31cyclictest16850irq/134-800000023:28:500
2078347995418,32cyclictest16850irq/134-800000022:12:260
2078347995418,31cyclictest16850irq/134-800000022:41:120
2078347995417,8cyclictest1-21systemd19:37:200
2078347995417,8cyclictest1-21systemd19:37:190
2078347995414,38cyclictest0-21swapper/022:05:000
2078356995344,6cyclictest2082730-21kworker/2:222:40:162
2078347995319,31cyclictest16850irq/134-800000022:05:560
2078347995319,30cyclictest2081257-21latency_hist20:05:010
2078347995318,20cyclictest16850irq/134-800000021:30:500
2078347995317,9cyclictest3467602-21systemd-journal00:09:040
2078361995224,20cyclictest275-21dbus-daemon23:40:003
2078361995224,20cyclictest275-21dbus-daemon23:39:593
2078356995243,6cyclictest2098031-21kworker/2:100:25:252
2078350995236,12cyclictest2081402-21cron20:10:001
2078350995236,12cyclictest2081402-21cron20:10:001
2078350995232,12cyclictest2081916-21cron20:19:591
2078347995217,32cyclictest16850irq/134-800000022:26:460
2078347995217,31cyclictest16850irq/134-800000000:33:480
2078356995144,5cyclictest2098031-21kworker/2:123:18:382
2078356995143,5cyclictest2098031-21kworker/2:123:28:262
2078356995141,7cyclictest2082730-21kworker/2:222:05:022
2078356995137,9cyclictest3467602-21systemd-journal19:40:002
2078356995137,9cyclictest3467602-21systemd-journal19:40:002
2078356995126,20cyclictest2149457-21modprobe23:35:012
2078350995131,15cyclictest2084037-21munin-run21:00:001
2078347995116,31cyclictest16850irq/134-800000023:22:040
2078347995116,31cyclictest16850irq/134-800000023:22:040
2078361995031,11cyclictest2084514-21cron21:10:003
2078361995026,17cyclictest275-21dbus-daemon00:35:013
2078356995041,6cyclictest2082216-21kworker/2:320:40:022
2078356995041,6cyclictest2082216-21kworker/2:320:40:022
2078356995034,13cyclictest3467602-21systemd-journal00:19:592
2078356995030,14cyclictest3467602-21systemd-journal23:50:022
2078350995031,14cyclictest2080772-21latency_hist19:55:031
2078350995029,17cyclictest2083437-21date20:45:021
2078347995031,15cyclictest2079570-21sshd19:33:200
2078347995025,21cyclictest2084115-21latency_hist21:00:010
2078347995015,31cyclictest16850irq/134-800000023:01:280
2078361994930,14cyclictest3467602-21systemd-journal20:28:203
207835699497,10cyclictest30-21ksoftirqd/219:55:292
2078356994942,4cyclictest2082216-21kworker/2:321:30:372
2078356994941,5cyclictest2129569-21kworker/2:022:58:222
2078356994941,5cyclictest2098031-21kworker/2:122:26:192
2078356994941,5cyclictest2098031-21kworker/2:122:10:002
2078356994941,5cyclictest2082730-21kworker/2:222:15:112
2078356994934,11cyclictest275-21dbus-daemon19:15:012
2078356994932,13cyclictest3467602-21systemd-journal20:02:272
207835699492,17cyclictest2161996-21rm00:02:522
207835699492,17cyclictest2161996-21rm00:02:512
2078350994935,11cyclictest2079815-21sshd19:37:201
2078350994935,11cyclictest2079815-21sshd19:37:191
2078350994933,12cyclictest2080092-21sshd19:41:201
2078350994932,14cyclictest364-21snmpd20:53:281
2078350994932,14cyclictest364-21snmpd20:53:271
2078350994932,13cyclictest1-21systemd21:05:001
2078350994931,12cyclictest2084752-21latency_hist21:10:031
2078347994935,9cyclictest2079354-21unin-run19:30:000
2078347994933,10cyclictest2081915-21cron20:20:000
2078347994929,14cyclictest2083240-21latency_hist20:45:000
2078361994836,10cyclictest37-21ksoftirqd/321:42:323
2078361994829,14cyclictest275-21dbus-daemon23:35:013
2078361994827,16cyclictest275-21dbus-daemon22:05:003
207835699484,3cyclictest131rcu_preempt22:50:012
2078356994840,5cyclictest2153948-21kworker/2:200:39:082
2078350994837,8cyclictest364-21snmpd19:57:221
2078350994833,12cyclictest2079067-21sshd19:23:201
2078350994831,12cyclictest2082972-21munin-plugin-st20:40:011
2078350994831,12cyclictest2082972-21munin-plugin-st20:40:001
2078361994726,12cyclictest1-21systemd00:15:023
2078356994739,5cyclictest2098031-21kworker/2:121:58:082
2078350994731,11cyclictest364-21snmpd20:02:351
2078347994731,12cyclictest2078530-21sshd19:14:190
2078347994731,11cyclictest2079074-21cron19:25:010
2078361994632,10cyclictest37-21ksoftirqd/321:52:213
2078361994632,10cyclictest1-21systemd00:00:013
2078356994638,5cyclictest2098031-21kworker/2:121:41:282
2078356994638,5cyclictest2081124-21kworker/2:020:20:032
2078356994630,12cyclictest2166953-21sh00:14:012
2078356994628,14cyclictest3467602-21systemd-journal19:16:202
2078347994632,11cyclictest2081647-21sshd20:13:190
2078347994629,13cyclictest2080358-21sshd19:49:200
2078347994628,12cyclictest275-21dbus-daemon20:30:010
2078361994529,12cyclictest37-21ksoftirqd/323:05:013
2078361994528,14cyclictest37-21ksoftirqd/320:40:003
2078361994528,14cyclictest37-21ksoftirqd/320:40:003
2078361994526,14cyclictest275-21dbus-daemon19:25:013
2078361994524,14cyclictest0-21swapper/319:30:013
2078361994516,13cyclictest131rcu_preempt00:07:443
2078356994532,9cyclictest3467602-21systemd-journal20:10:012
2078356994532,9cyclictest3467602-21systemd-journal20:10:002
2078356994531,11cyclictest2092507-21sh21:27:302
2078356994530,12cyclictest0-21swapper/223:58:042
207835699452,7cyclictest364-21snmpd23:06:082
207835699451,15cyclictest2084530-21diskmemload21:24:052
2078350994533,9cyclictest364-21snmpd20:20:351
2078350994533,9cyclictest364-21snmpd20:20:351
207835099452,6cyclictest0-21swapper/120:35:021
2078347994529,13cyclictest2080848-21sshd19:56:210
2078347994511,9cyclictest1-21systemd20:24:200
2078347994511,9cyclictest1-21systemd20:24:190
2078361994435,6cyclictest2115789-21cron22:20:003
207836199443,3cyclictest131rcu_preempt22:34:573
2078361994429,12cyclictest2147216-21munin-run23:30:003
2078361994425,14cyclictest1-21systemd20:50:003
2078361994423,13cyclictest1-21systemd21:50:013
207836199442,10cyclictest2111582-21latency_hist22:10:023
2078361994420,5cyclictest37-21ksoftirqd/323:23:453
2078361994420,5cyclictest37-21ksoftirqd/323:23:443
207835699447,12cyclictest2084530-21diskmemload23:49:572
2078356994437,4cyclictest0-21swapper/219:10:022
2078356994435,6cyclictest2082730-21kworker/2:222:13:562
2078356994430,11cyclictest2104701-21sh21:55:012
2078356994429,11cyclictest2149972-21sh23:35:532
2078356994429,11cyclictest2149972-21sh23:35:522
2078356994428,12cyclictest275-21dbus-daemon23:15:012
2078356994428,12cyclictest275-21dbus-daemon23:15:012
2078356994426,14cyclictest275-21dbus-daemon21:15:012
207835699441,38cyclictest3467602-21systemd-journal20:48:232
2078350994428,10cyclictest2078357-21wc19:10:011
2078347994430,10cyclictest2081378-21sshd20:05:210
2078347994430,10cyclictest2081378-21sshd20:05:200
2078347994429,11cyclictest2080209-21date19:45:020
2078361994331,10cyclictest37-21ksoftirqd/321:11:093
2078361994330,6cyclictest2089014-21cron21:20:013
2078361994328,12cyclictest3467602-21systemd-journal23:20:003
2078361994324,14cyclictest0-21swapper/300:20:003
2078356994329,11cyclictest2124818-21pluginstate22:40:012
2078356994329,11cyclictest2122183-21sh22:34:072
2078356994311,5cyclictest131rcu_preempt20:50:422
2078356994311,5cyclictest131rcu_preempt20:50:412
2078347994331,9cyclictest2083707-21sshd20:50:230
2078347994331,9cyclictest2083707-21sshd20:50:220
207836199426,6cyclictest131rcu_preempt20:20:003
207836199423,3cyclictest131rcu_preempt22:40:133
2078361994228,12cyclictest37-21ksoftirqd/300:27:503
2078361994228,11cyclictest37-21ksoftirqd/322:15:013
2078361994226,12cyclictest37-21ksoftirqd/319:44:593
2078361994225,14cyclictest2097988-21munin-run21:40:003
2078361994224,16cyclictest37-21ksoftirqd/323:50:133
207835699425,22cyclictest2082216-21kworker/2:321:05:012
207835699424,3cyclictest131rcu_preempt00:06:462
2078356994234,5cyclictest2082216-21kworker/2:321:36:002
2078356994229,9cyclictest2174852-21sshd00:31:222
2078356994228,10cyclictest309-21in:imuxsock22:25:002
2078356994228,10cyclictest0-21swapper/200:24:022
2078347994230,8cyclictest275-21dbus-daemon21:05:010
2078347994219,19cyclictest0-21swapper/020:30:200
207834799421,5cyclictest131rcu_preempt19:55:000
2078361994133,6cyclictest37-21ksoftirqd/321:57:333
2078361994126,11cyclictest1-21systemd22:55:473
207836199412,5cyclictest131rcu_preempt23:45:003
2078361994120,4cyclictest37-21ksoftirqd/322:49:143
2078356994128,9cyclictest3467602-21systemd-journal20:15:002
2078347994129,9cyclictest2083463-21sshd20:47:220
207836199403,30cyclictest2083245-21cut20:45:003
2078361994031,6cyclictest2124117-21ssh22:38:293
2078361994027,10cyclictest37-21ksoftirqd/321:27:433
2078361994025,11cyclictest3467602-21systemd-journal21:05:013
2078361994017,17cyclictest275-21dbus-daemon00:05:013
2078361994017,17cyclictest275-21dbus-daemon00:05:003
207835699403,6cyclictest131rcu_preempt22:55:012
2078356994032,5cyclictest2082216-21kworker/2:321:10:012
2078356994028,9cyclictest2143033-21sshd23:20:222
2078356994028,9cyclictest2143033-21sshd23:20:212
2078356994028,8cyclictest0-21swapper/221:15:392
2078356994027,10cyclictest30-21ksoftirqd/220:45:012
2078356994026,10cyclictest3467602-21systemd-journal20:30:002
207835699402,33cyclictest2084162-21grep21:00:022
2078347994025,10cyclictest2078354-21latency_hist19:10:020
2078361993928,8cyclictest37-21ksoftirqd/321:30:563
207836199392,5cyclictest131rcu_preempt23:07:153
2078361993924,8cyclictest37-21ksoftirqd/319:20:003
2078361993910,20cyclictest2081661-21modprobe20:14:593
2078356993928,8cyclictest30-21ksoftirqd/219:55:002
2078361993830,4cyclictest2131492-21latency_hist22:55:033
2078361993824,9cyclictest37-21ksoftirqd/322:25:033
2078361993729,6cyclictest37-21ksoftirqd/319:40:033
2078361993729,6cyclictest37-21ksoftirqd/319:40:033
2078361993727,8cyclictest37-21ksoftirqd/323:10:543
2078361993727,8cyclictest37-21ksoftirqd/323:10:533
2078361993726,9cyclictest37-21ksoftirqd/300:37:143
2078361993726,6cyclictest2080801-21latency_hist19:55:023
2078361993721,11cyclictest37-21ksoftirqd/320:59:593
207836199364,3cyclictest131rcu_preempt22:26:343
2078361993629,4cyclictest2155494-21sh23:48:233
2078361993621,11cyclictest3467602-21systemd-journal19:57:263
2078361993523,8cyclictest0-21swapper/321:21:123
2078356993523,9cyclictest2082689-21sshd20:33:202
207835699351,24cyclictest0-21swapper/220:25:032
207835699351,24cyclictest0-21swapper/220:25:022
2078361993427,4cyclictest2081159-21latency_hist20:05:033
2078361993423,9cyclictest37-21ksoftirqd/320:55:013
2078361993423,9cyclictest37-21ksoftirqd/320:55:013
2078361993421,10cyclictest37-21ksoftirqd/320:32:103
2078361993421,10cyclictest37-21ksoftirqd/300:24:223
207836199341,29cyclictest48-21kcompactd020:20:223
207836199341,29cyclictest48-21kcompactd020:20:213
2078356993420,11cyclictest30-21ksoftirqd/219:50:002
2078356993315,13cyclictest0-21swapper/219:30:002
2078361993225,5cyclictest2078543-21latency_hist19:15:033
2078356993225,4cyclictest2079581-21cron19:35:012
2078356993220,9cyclictest30-21ksoftirqd/219:44:512
207836199314,22cyclictest2081428-21unin-run20:10:013
207836199314,22cyclictest2081428-21unin-run20:10:013
2078361993124,4cyclictest2080347-21sshd19:47:203
2078361992921,5cyclictest37-21ksoftirqd/319:10:023
2078356992918,8cyclictest30-21ksoftirqd/219:25:012
2078361992815,10cyclictest3467602-21systemd-journal19:30:323
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional