You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-20 - 06:53

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Wed May 20, 2026 00:45:31)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2364904999331,58cyclictest2415342-21ssh22:41:380
2364904999231,43cyclictest2384029-21ssh21:36:440
2364904998731,38cyclictest2410964-21ssh22:32:430
236490499871,81cyclictest2467929-21ssh00:30:230
2364911998434,17cyclictest2365070-21sshd19:11:571
2364904998433,45cyclictest275-21dbus-daemon22:40:010
2364904998335,30cyclictest16850irq/134-800000023:16:320
236490499823,7cyclictest2365355-21modprobe19:20:000
2364904998132,32cyclictest2439678-21ssh23:32:110
2364911998036,15cyclictest2393432-21ssh21:56:131
2364911998036,15cyclictest2393432-21ssh21:56:121
2364904997930,32cyclictest2386641-21ssh21:42:100
2364904997916,58cyclictest16850irq/134-800000021:20:330
2364904997916,58cyclictest16850irq/134-800000021:20:330
236490499791,60cyclictest2406386-21ssh22:23:090
2364911997837,14cyclictest2443326-21ssh23:40:011
2364904997844,29cyclictest16850irq/134-800000022:00:000
2364904997844,29cyclictest16850irq/134-800000022:00:000
2364904997827,47cyclictest2457217-21ssh00:08:390
2364911997734,12cyclictest2365850-21date19:25:021
2364911997726,11cyclictest150-21pr/ttyS222:00:071
2364904997730,29cyclictest2461875-21ssh00:18:110
2364904997718,54cyclictest16850irq/134-800000022:50:570
2364904997632,38cyclictest3467602-21systemd-journal20:35:000
236490499761,60cyclictest2379671-21ssh21:27:400
2364904997513,57cyclictest16850irq/134-800000023:45:010
2364911997434,14cyclictest2409901-21ssh22:30:121
2364904997427,30cyclictest2437660-21ssh23:28:070
2364904997427,30cyclictest2437660-21ssh23:28:070
2364904997410,13cyclictest2448499-21ssh23:50:150
236490499733,5cyclictest2436098-21munin-run23:25:000
2364904997312,56cyclictest16850irq/134-800000021:10:480
2364911997230,10cyclictest2466555-21ssh00:27:571
2364911997230,10cyclictest2466555-21ssh00:27:561
2364911997226,12cyclictest150-21pr/ttyS221:01:291
2364904997256,9cyclictest2364905-21cat19:10:020
2364904997256,9cyclictest2364905-21cat19:10:020
2364904997219,49cyclictest16850irq/134-800000000:22:060
2364911997131,14cyclictest2400260-21ssh22:10:151
2364911997131,14cyclictest2400260-21ssh22:10:141
2364911997126,14cyclictest2369797-21systemd-run20:45:001
2364911997126,13cyclictest150-21pr/ttyS222:48:531
2364904997137,30cyclictest16850irq/134-800000023:50:010
2364904997123,40cyclictest2431242-21grep23:15:020
2364904997120,32cyclictest2426903-21ssh23:05:360
2364904997119,22cyclictest16850irq/134-800000022:45:130
2364904997113,42cyclictest16850irq/134-800000022:29:560
2364917997029,14cyclictest2394226-21ssh21:58:033
2364917997029,14cyclictest2394226-21ssh21:58:023
2364917997018,15cyclictest2369127-21latency_hist20:30:023
236490499702,6cyclictest2443290-21ssh23:39:540
2364904997019,47cyclictest2465520-21ssh00:25:280
2364904997019,47cyclictest2465520-21ssh00:25:280
2364904997019,47cyclictest16850irq/134-800000022:08:080
2364904996921,43cyclictest16850irq/134-800000021:30:080
2364904996918,47cyclictest16850irq/134-800000021:16:430
2364911996827,12cyclictest150-21pr/ttyS220:35:461
2364911996826,13cyclictest150-21pr/ttyS223:46:011
2364911996826,12cyclictest150-21pr/ttyS223:34:011
2364911996825,12cyclictest150-21pr/ttyS222:19:191
2364911996822,15cyclictest2424728-21ssh23:00:581
2364911996821,17cyclictest2378468-21date21:25:021
2364904996834,30cyclictest16850irq/134-800000023:05:030
2364904996817,46cyclictest16850irq/134-800000022:16:010
2364904996814,50cyclictest16850irq/134-800000000:37:090
2364911996728,12cyclictest2383843-21ssh21:36:101
2364911996719,14cyclictest2451155-21ssh23:55:481
2364904996713,49cyclictest16850irq/134-800000022:00:170
2364917996622,14cyclictest364-21snmpd23:44:563
2364911996629,11cyclictest2467788-21ssh00:30:071
2364904996611,52cyclictest2454117-21ssh00:02:020
2364904996611,52cyclictest2454117-21ssh00:02:020
2364904996610,51cyclictest16850irq/134-800000021:46:050
2364917996513,14cyclictest0-21swapper/321:10:013
236491199657,53cyclictest2450652-21ssh23:55:021
2364911996529,13cyclictest2444140-21ssh23:41:181
2364911996528,15cyclictest2371073-21diskmemload23:14:201
2364911996525,12cyclictest150-21pr/ttyS219:39:121
2364911996523,12cyclictest2371073-21diskmemload00:37:581
2364911996521,15cyclictest2378264-21munin-run21:25:021
236490499655,56cyclictest239065850ssh21:50:170
2364917996420,15cyclictest2420064-21sh22:51:253
2364911996428,12cyclictest2387289-21ssh21:43:391
2364911996427,12cyclictest2419694-21ssh22:50:261
2364911996425,12cyclictest150-21pr/ttyS219:24:261
236490499643,18cyclictest2453201-21latency_hist00:00:060
236490499641,59cyclictest0-21swapper/022:55:170
2364911996346,13cyclictest2459617-21ssh00:13:381
2364911996346,13cyclictest2459617-21ssh00:13:371
2364911996327,11cyclictest150-21pr/ttyS220:49:331
2364911996327,11cyclictest150-21pr/ttyS220:49:321
2364911996325,12cyclictest2436796-21ssh23:26:111
2364911996325,12cyclictest2436796-21ssh23:26:111
236490499633,16cyclictest2370270-21sshd20:54:560
2364911996250,10cyclictest2416127-21ssh22:43:191
2364911996245,13cyclictest2408954-21ssh22:28:311
2364911996244,14cyclictest2388520-21ssh21:45:581
2364911996242,14cyclictest2406899-21ssh22:24:231
2364911996229,10cyclictest2456707-21ssh00:07:261
2364911996225,12cyclictest2423107-21ssh22:57:481
236490499626,49cyclictest2367440-21munin-plugin-st20:00:000
236490499626,49cyclictest2367440-21munin-plugin-st20:00:000
236490499624,18cyclictest2367238-21latency_hist19:55:020
2364911996145,14cyclictest2412750-21ssh22:36:191
2364911996144,14cyclictest2432813-21ssh23:18:081
2364911996144,13cyclictest2428443-21ssh23:09:101
2364911996144,13cyclictest2398889-21ssh22:07:341
2364911996144,13cyclictest2374312-21ssh21:16:331
2364911996143,14cyclictest2379253-21ssh21:26:491
236490499612,3cyclictest0-21swapper/022:10:540
236490499612,3cyclictest0-21swapper/022:10:530
2364917996021,12cyclictest2466220-21ssh00:27:023
2364917996021,12cyclictest2466220-21ssh00:27:013
2364913996025,29cyclictest291rcuc/222:05:022
2364911996047,10cyclictest2372021-21ssh21:11:431
2364911996045,13cyclictest2463401-21ssh00:21:091
2364911996045,12cyclictest2434509-21ssh23:21:231
2364911996025,12cyclictest150-21pr/ttyS221:09:141
2364911996021,13cyclictest2454595-21ssh00:03:031
2364911996021,13cyclictest2454595-21ssh00:03:021
2364904996027,29cyclictest2458316-21sh00:10:380
2364904996027,29cyclictest2458316-21sh00:10:380
236490499602,11cyclictest275-21dbus-daemon20:25:010
2364904996013,41cyclictest3467602-21systemd-journal21:10:000
236491799593,51cyclictest2371073-21diskmemload00:00:053
2364917995920,14cyclictest0-21swapper/300:03:383
2364917995920,14cyclictest0-21swapper/300:03:373
2364911995946,10cyclictest2461553-21ssh00:17:291
2364911995946,10cyclictest2367963-21/usr/sbin/munin20:10:001
2364911995944,12cyclictest2381511-21ssh21:31:201
2364911995943,13cyclictest2390592-21ssh21:50:081
236490499592,14cyclictest2365613-21sshd19:22:570
236490499582,18cyclictest2365091-21modprobe19:15:000
236490499581,15cyclictest2366649-21sshd19:42:580
2364913995739,13cyclictest3467602-21systemd-journal19:40:012
2364904995710,42cyclictest0-21swapper/020:40:000
2364917995643,9cyclictest2462678-21sendmail00:20:003
2364917995639,13cyclictest2443144-21ssh23:39:373
2364917995639,13cyclictest2432887-21ssh23:18:183
2364917995620,10cyclictest2448018-21ssh23:49:443
2364911995642,11cyclictest2367674-21sshd20:00:371
236490499563,10cyclictest275-21dbus-daemon21:05:020
2364917995537,14cyclictest2401787-21ssh22:13:473
2364917995537,14cyclictest2401787-21ssh22:13:463
2364917995511,13cyclictest2371073-21diskmemload22:57:403
2364913995546,6cyclictest2442239-21kworker/2:000:13:402
2364913995546,6cyclictest2442239-21kworker/2:000:13:392
2364913995546,5cyclictest2457906-21kworker/2:200:21:042
2364913995534,15cyclictest3467602-21systemd-journal22:15:012
2364913995534,15cyclictest3467602-21systemd-journal22:15:002
2364911995542,10cyclictest2366939-21/usr/sbin/munin19:50:021
2364911995542,10cyclictest2366939-21/usr/sbin/munin19:50:011
2364911995529,22cyclictest2370297-21sh20:55:011
236490499559,41cyclictest0-21swapper/020:27:580
236490499552,7cyclictest2366355-21sshd19:35:330
236490499552,14cyclictest2368514-21munin-run20:20:010
2364904995515,35cyclictest2366277-21latency_hist19:35:020
236490499551,14cyclictest364-21snmpd19:28:210
2364917995438,13cyclictest2382378-21ssh21:33:263
2364917995438,12cyclictest3467602-21systemd-journal21:18:043
2364917995438,12cyclictest2456225-21ssh00:06:173
2364917995437,13cyclictest2419053-21ssh22:49:343
2364917995436,14cyclictest2406113-21ssh22:22:353
2364917995417,11cyclictest2463422-21ssh00:21:113
2364917995416,11cyclictest2409147-21ssh22:29:063
2364917995411,13cyclictest2371073-21diskmemload23:32:253
2364913995445,6cyclictest2356764-21kworker/2:122:21:142
2364913995443,7cyclictest2366166-21kworker/2:321:30:322
2364911995441,10cyclictest2365501-21sed19:20:031
2364911995440,9cyclictest48-21kcompactd020:56:311
236490499543,5cyclictest2369750-21sshd20:40:580
2364917995340,10cyclictest2435272-21ssh23:23:073
2364917995340,10cyclictest2398475-21ssh22:06:423
2364917995340,10cyclictest2390120-21ssh21:49:373
2364917995339,12cyclictest2384182-21ssh21:37:033
2364917995339,11cyclictest2378988-21ssh21:26:073
2364917995339,10cyclictest2366141-21munin-run19:35:013
2364917995338,12cyclictest2392598-21ssh21:54:503
2364917995337,12cyclictest2430213-21ssh23:12:463
2364913995344,6cyclictest2366166-21kworker/2:323:38:552
2364913995344,6cyclictest2366166-21kworker/2:323:07:432
2364913995344,5cyclictest2366166-21kworker/2:323:51:532
2364913995343,6cyclictest2366166-21kworker/2:323:16:332
2364913995337,12cyclictest1-21systemd23:50:012
2364913995336,11cyclictest3467602-21systemd-journal19:14:592
2364911995339,10cyclictest2369331-21cat20:35:021
2364911995334,12cyclictest2367418-21cron20:00:011
2364911995334,12cyclictest2367418-21cron20:00:001
2364911995321,11cyclictest0-21swapper/120:11:021
236490499532,15cyclictest2367678-21modprobe20:00:570
2364904995318,29cyclictest0-21swapper/020:10:010
236490499531,7cyclictest2366900-21sshd19:47:570
236490499531,7cyclictest2366900-21sshd19:47:570
2364917995240,10cyclictest2396169-21ssh22:01:563
2364917995239,10cyclictest2371916-21ssh21:11:303
2364917995238,11cyclictest2471315-21ssh00:37:363
2364917995238,11cyclictest2460030-21ssh00:14:313
2364917995238,11cyclictest2460030-21ssh00:14:303
2364917995237,12cyclictest2437161-21ssh23:26:573
2364917995237,12cyclictest2437161-21ssh23:26:573
2364917995236,13cyclictest2409867-21ssh22:30:083
2364917995235,13cyclictest2469420-21ssh00:33:483
2364913995244,5cyclictest2366166-21kworker/2:323:34:122
2364913995244,5cyclictest2366166-21kworker/2:323:03:582
2364913995244,5cyclictest2366166-21kworker/2:321:29:202
2364913995244,5cyclictest2366166-21kworker/2:321:19:432
2364913995244,5cyclictest2356764-21kworker/2:122:56:382
2364913995244,5cyclictest2356764-21kworker/2:122:26:102
2364913995244,5cyclictest2356764-21kworker/2:121:56:162
2364913995244,5cyclictest2356764-21kworker/2:121:56:152
2364913995243,5cyclictest2366166-21kworker/2:323:42:462
2364913995243,5cyclictest2356764-21kworker/2:122:05:532
2364913995242,6cyclictest2366166-21kworker/2:321:22:072
2364913995242,6cyclictest2366166-21kworker/2:321:22:062
2364913995242,6cyclictest2356764-21kworker/2:121:47:312
2364911995246,3cyclictest2366656-21sshd19:44:571
2364911995240,9cyclictest2368435-21sshd20:16:581
2364911995232,15cyclictest364-21snmpd20:21:571
236490499524,3cyclictest0-21swapper/020:49:050
236490499524,3cyclictest0-21swapper/020:49:040
2364917995139,9cyclictest2425962-21ssh23:03:583
2364917995139,9cyclictest2403154-21ssh22:16:193
2364917995137,11cyclictest2448614-21ssh23:50:303
2364917995137,11cyclictest2428325-21ssh23:08:563
2364917995136,12cyclictest2377590-21ssh21:23:303
2364917995136,12cyclictest2377590-21ssh21:23:303
2364917995111,13cyclictest2371073-21diskmemload21:40:223
2364913995143,5cyclictest2442239-21kworker/2:000:17:472
2364913995143,5cyclictest2366166-21kworker/2:323:25:042
2364913995143,5cyclictest2366166-21kworker/2:323:25:042
2364913995143,5cyclictest2356764-21kworker/2:122:33:532
2364913995142,5cyclictest2366166-21kworker/2:323:10:502
2364913995141,6cyclictest2356764-21kworker/2:123:22:092
236490499514,10cyclictest1-21systemd20:15:020
2364917995040,8cyclictest2415288-21ssh22:41:243
2364917995037,10cyclictest2412354-21ssh22:35:233
2364917995034,12cyclictest2365345-21cron19:20:013
2364917995023,23cyclictest1-21systemd19:25:003
2364913995042,5cyclictest2442239-21kworker/2:000:05:592
2364913995042,5cyclictest2366166-21kworker/2:320:20:432
2364913995042,5cyclictest2356764-21kworker/2:122:35:142
2364913995041,5cyclictest2442239-21kworker/2:000:37:332
2364913995040,6cyclictest2366166-21kworker/2:321:37:002
2364913995012,7cyclictest131rcu_preempt22:16:232
2364911995037,10cyclictest2367161-21sshd19:54:581
236490499501,8cyclictest2370512-21sshd20:57:570
2364917994936,10cyclictest2367178-21munin-run19:55:003
2364917994932,14cyclictest2367720-21systemctl20:05:013
2364913994941,5cyclictest2366166-21kworker/2:323:55:492
2364913994941,5cyclictest2366166-21kworker/2:322:47:462
2364913994941,5cyclictest2366166-21kworker/2:322:40:282
2364913994941,5cyclictest2356764-21kworker/2:122:51:132
2364913994941,5cyclictest2356764-21kworker/2:121:52:442
2364913994941,5cyclictest2356764-21kworker/2:121:42:242
2364913994941,5cyclictest2356764-21kworker/2:120:00:292
2364911994941,4cyclictest2366141-21/usr/sbin/munin19:35:011
2364911994923,21cyclictest2369181-21cat20:30:011
2364917994835,9cyclictest2366685-21munin-run19:45:013
2364917994832,12cyclictest2370830-21munin-run21:05:013
2364913994840,5cyclictest2442239-21kworker/2:000:30:052
2364913994840,5cyclictest2366166-21kworker/2:321:10:032
2364913994840,5cyclictest2366166-21kworker/2:300:00:412
2364913994840,5cyclictest2366166-21kworker/2:300:00:402
2364913994832,11cyclictest2369493-21cron20:40:012
2364913994740,4cyclictest2356764-21kworker/2:119:56:262
2364913994740,4cyclictest2356764-21kworker/2:119:56:252
2364913994739,5cyclictest2457906-21kworker/2:200:26:132
2364913994739,5cyclictest2457906-21kworker/2:200:26:122
2364913994739,5cyclictest2366166-21kworker/2:321:03:262
2364913994739,5cyclictest2366166-21kworker/2:320:44:402
2364913994739,5cyclictest2366166-21kworker/2:320:31:002
2364913994739,5cyclictest2356764-21kworker/2:119:45:332
2364913994739,5cyclictest2356764-21kworker/2:119:45:322
2364913994739,5cyclictest2356764-21kworker/2:119:34:052
2364913994734,10cyclictest30-21ksoftirqd/219:30:032
2364917994632,10cyclictest364-21snmpd20:56:153
2364917994631,10cyclictest2368752-21munin-run20:25:013
2364917994625,17cyclictest2365061-21modprobe19:10:023
2364917994621,18cyclictest2365892-21munin-plugin-st19:30:003
2364917994620,21cyclictest2370016-21modprobe20:48:573
2364917994620,21cyclictest2370016-21modprobe20:48:573
2364913994638,5cyclictest2366166-21kworker/2:320:52:382
2364913994638,5cyclictest2356764-21kworker/2:119:51:582
2364913994638,5cyclictest2356764-21kworker/2:119:20:292
2364913994637,5cyclictest2366166-21kworker/2:320:26:012
2364917994531,11cyclictest2368326-21sed20:15:023
2364917994528,10cyclictest2367416-21cron20:00:003
2364917994528,10cyclictest2367416-21cron20:00:003
2364913994537,5cyclictest2366166-21kworker/2:320:47:212
2364913994537,5cyclictest2366166-21kworker/2:320:47:202
2364913994537,5cyclictest2366166-21kworker/2:320:19:012
2364913994537,5cyclictest2356764-21kworker/2:119:15:312
2364917994437,4cyclictest2369254-21munin-run20:35:003
2364917994429,11cyclictest1-21systemd20:40:013
2364913994436,5cyclictest2366166-21kworker/2:321:07:532
2364913994436,5cyclictest2356764-21kworker/2:120:11:282
2364913994436,5cyclictest2356764-21kworker/2:119:40:392
2364911994426,13cyclictest2365024-21latency_hist19:10:021
2364911994426,13cyclictest2365024-21latency_hist19:10:021
2364917994336,4cyclictest2366400-21munin-run19:40:013
2364917994335,4cyclictest2366939-21munin-run19:50:013
2364917994335,4cyclictest2366939-21munin-run19:50:013
2364917994325,12cyclictest2368461-21cron20:20:013
2364913994335,5cyclictest2356764-21kworker/2:120:06:032
2364917994233,5cyclictest2370287-21/usr/sbin/munin20:55:013
2364917994212,26cyclictest2369784-21modprobe20:45:013
2364913994234,5cyclictest2366166-21kworker/2:320:59:552
2364917994117,19cyclictest2367983-21cat20:10:013
2364917994117,19cyclictest2364844-21latency_hist19:10:033
2364917994117,19cyclictest2364844-21latency_hist19:10:023
236491399313,7cyclictest30-21ksoftirqd/219:10:022
236491399313,7cyclictest30-21ksoftirqd/219:10:022
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional