You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-03 - 01:35

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot7s.osadl.org (updated Tue Dec 02, 2025 12:43:57)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
9333210591,9sleep10-21swapper/107:09:201
9333210591,9sleep10-21swapper/107:09:201
9351210074,9sleep30-21swapper/307:09:343
9351210074,9sleep30-21swapper/307:09:343
910828665,17sleep20-21swapper/207:06:242
910828665,17sleep20-21swapper/207:06:242
916628068,8sleep00-21swapper/007:07:100
916628068,8sleep00-21swapper/007:07:100
182742600,1sleep018273-21swap07:25:250
14392540,0sleep30-21swapper/310:30:203
142622490,0sleep10-21swapper/110:14:281
948299220,22cyclictest0-21swapper/309:12:473
947799220,21cyclictest0-21swapper/208:10:142
9482992119,1cyclictest23741-21sendmail07:40:013
9482992114,6cyclictest18978-21dump-pmu-power07:30:003
948299200,20cyclictest0-21swapper/311:25:123
947799201,18cyclictest14606-21ssh11:59:172
947799200,20cyclictest0-21swapper/212:24:132
947499204,12cyclictest25-21ksoftirqd/109:05:141
9482991917,2cyclictest2104-21diskmemload10:54:353
9482991916,3cyclictest0-21swapper/309:20:053
9482991916,2cyclictest2104-21diskmemload09:54:563
9482991911,7cyclictest0-21swapper/312:20:233
947299196,6cyclictest24941-21munin-run08:50:000
947299190,18cyclictest0-21swapper/011:29:430
948299189,8cyclictest0-21swapper/311:20:133
9482991816,1cyclictest2104-21diskmemload12:20:003
9482991816,1cyclictest2104-21diskmemload12:20:003
9482991816,1cyclictest2104-21diskmemload10:20:183
9482991815,2cyclictest26812-21perf12:10:003
9482991811,5cyclictest2104-21diskmemload10:47:043
947799180,17cyclictest0-21swapper/210:42:122
948299171,4cyclictest224-21systemd-journal10:18:193
9482991711,5cyclictest2104-21diskmemload12:27:163
948299170,16cyclictest0-21swapper/311:18:003
947499170,1cyclictest0-21swapper/109:34:571
947499170,17cyclictest0-21swapper/112:13:291
947299170,17cyclictest0-21swapper/009:15:230
948299168,7cyclictest0-21swapper/309:25:143
948299166,10cyclictest0-21swapper/311:02:033
9482991613,2cyclictest2104-21diskmemload11:50:023
948299161,14cyclictest0-21swapper/311:55:233
9482991610,6cyclictest0-21swapper/310:03:143
947799165,8cyclictest37850irq/131-snd_hda09:11:292
9472991616,0cyclictest0-21swapper/010:43:440
948299158,6cyclictest2104-21diskmemload10:40:243
948299152,2cyclictest39-21ksoftirqd/311:42:293
9482991513,2cyclictest94-21kswapd009:59:203
9482991513,2cyclictest2104-21diskmemload12:37:433
9482991513,1cyclictest2104-21diskmemload12:34:433
9482991510,4cyclictest2104-21diskmemload09:16:093
948299150,2cyclictest39-21ksoftirqd/307:49:543
948299150,1cyclictest0-21swapper/309:48:083
9477991513,1cyclictest14517-21apt-get09:20:032
9474991515,0cyclictest0-21swapper/108:14:391
947499150,15cyclictest0-21swapper/112:04:291
948299148,4cyclictest2104-21diskmemload11:48:213
948299143,10cyclictest0-21swapper/307:10:133
9482991413,1cyclictest39-21ksoftirqd/311:08:473
9482991410,0cyclictest0-21swapper/310:25:153
947799142,4cyclictest0-21swapper/209:50:272
947799142,1cyclictest141rcu_preempt10:05:002
947799142,1cyclictest141rcu_preempt09:40:042
9477991414,0cyclictest0-21swapper/212:26:002
9477991411,2cyclictest1906-21head08:00:162
9477991411,2cyclictest17779-21cron08:35:002
9477991410,3cyclictest26109-21cron07:45:002
947799140,1cyclictest0-21swapper/211:27:472
947799140,1cyclictest0-21swapper/210:46:572
947499148,5cyclictest20620-21apt-config10:20:001
947499148,4cyclictest1291-21runrttasks07:25:121
9474991414,0cyclictest0-21swapper/110:27:391
9474991411,2cyclictest11827-21basename07:15:001
947499140,1cyclictest141rcu_preempt11:28:001
947499140,12cyclictest14668-21sh12:25:171
9472991410,2cyclictest24430-21wc09:55:250
948299132,7cyclictest0-21swapper/311:14:393
948299132,3cyclictest0-21swapper/308:00:133
9482991311,2cyclictest39-21ksoftirqd/311:00:003
9482991310,2cyclictest31713-21grep09:00:273
9482991310,2cyclictest15401-21cron08:30:003
947799139,3cyclictest23547-21grep08:45:212
947799138,4cyclictest32-21ksoftirqd/209:35:012
9477991311,1cyclictest32-21ksoftirqd/211:43:122
9477991311,1cyclictest0-21swapper/212:17:512
9477991311,1cyclictest0-21swapper/212:17:502
9477991310,2cyclictest9026-21cut09:15:232
9477991310,2cyclictest4192-21cat11:50:212
9477991310,2cyclictest4156-21grep08:05:202
9477991310,2cyclictest24510-21cut11:15:172
9477991310,2cyclictest18199-21cat11:35:262
9477991310,2cyclictest12311-21sshd10:39:192
947799130,1cyclictest0-21swapper/211:07:322
947799130,13cyclictest0-21swapper/210:29:082
947799130,12cyclictest12242-21cat11:30:262
947499139,2cyclictest11904-21cat09:45:201
947499133,7cyclictest9496-21wget11:55:171
947499133,5cyclictest6794-21dump-pmu-power12:20:001
947499133,5cyclictest6794-21dump-pmu-power12:20:001
9474991310,2cyclictest3388-21grep09:10:191
9474991310,2cyclictest30427-21grep07:50:231
9474991310,2cyclictest30287-21grep09:00:161
9474991310,2cyclictest26027-21sh09:30:001
9474991310,2cyclictest24061-21grep08:45:261
9474991310,2cyclictest21681-21grep12:05:181
9474991310,2cyclictest14593-21grep07:20:141
947499130,3cyclictest0-21swapper/112:39:231
947499130,11cyclictest27376-21wc07:45:191
947299139,3cyclictest4576-21grep10:05:280
947299139,3cyclictest14922-21grep08:25:280
947299139,3cyclictest13138-21grep11:05:190
9472991310,2cyclictest9959-21grep07:10:140
9472991310,2cyclictest6704-21cut11:00:190
9472991310,2cyclictest17459-21head11:35:190
9472991310,2cyclictest14830-21cut12:25:180
9472991310,2cyclictest10983-21grep08:20:130
9472991310,2cyclictest1080-21grep10:30:180
9472991310,2cyclictest10083-21grep11:55:200
947299130,11cyclictest23825-21grep11:40:210
48642130,0chrt0-21swapper/210:59:082
948299129,3cyclictest2104-21diskmemload12:01:283
948299129,2cyclictest7886-21head10:35:193
948299129,2cyclictest5106-21chrt10:05:563
948299129,2cyclictest3622-21grep08:05:173
948299129,2cyclictest29265-21grep08:55:293
948299129,2cyclictest29173-21head12:10:283
948299129,2cyclictest19774-21sed08:35:323
948299129,2cyclictest18414-21grep11:35:283
948299129,2cyclictest16167-21cron11:35:003
948299129,2cyclictest15913-21cut08:30:143
948299128,4cyclictest0-21swapper/309:44:593
948299124,8cyclictest0-21swapper/308:20:153
9482991211,1cyclictest39-21ksoftirqd/308:49:343
948299120,10cyclictest0-21swapper/309:32:063
947799129,2cyclictest8405-21grep08:15:142
947799129,2cyclictest31344-21grep07:55:202
947799129,2cyclictest29523-21grep07:50:152
947799129,2cyclictest21375-21cat07:35:012
947799129,2cyclictest15936-21sed10:15:192
947799129,2cyclictest14057-21sed08:25:172
947799128,3cyclictest32304-21grep09:35:182
947799128,3cyclictest27172-21sed07:45:172
947799128,3cyclictest20107-21grep11:10:302
947799127,4cyclictest27139-21sh12:10:082
947799127,4cyclictest25598-21ssh09:29:252
947799125,6cyclictest21588-21df10:20:182
947799120,11cyclictest0-21swapper/212:05:262
947499129,2cyclictest3826-21grep08:05:181
947499129,2cyclictest31435-21grep07:55:211
947499129,2cyclictest26980-21head10:50:181
947499129,2cyclictest26110-21cron07:45:001
947499129,2cyclictest25094-21grep11:15:181
947499129,2cyclictest24768-21grep11:40:301
947499129,2cyclictest21741-21sort10:20:191
947499129,2cyclictest18332-21tr08:35:211
947499129,2cyclictest17688-21ssh09:50:221
947499129,2cyclictest14205-21ssh09:20:011
947499129,2cyclictest12874-21grep07:15:171
947499129,2cyclictest11970-21wc11:05:001
947499122,7cyclictest21034-21apt-get12:30:131
9474991212,0cyclictest0-21swapper/110:09:071
947299129,2cyclictest476-21grep10:55:190
947299129,2cyclictest29734-21cron09:00:000
947299129,2cyclictest28038-21head10:25:190
947299129,2cyclictest26878-21wc10:25:000
947299129,2cyclictest25647-21grep07:40:280
947299129,2cyclictest24878-21ssh11:15:180
947299129,2cyclictest23256-21tail07:35:290
947299129,2cyclictest22903-21head12:30:270
947299129,2cyclictest20420-21cron10:20:000
947299129,2cyclictest17785-21sh08:34:590
947299129,2cyclictest15489-21head09:20:170
947299129,2cyclictest0-21swapper/012:15:210
947299129,2cyclictest0-21swapper/012:15:210
947299128,3cyclictest2684-21wc08:00:250
947299128,3cyclictest18769-21grep08:35:230
947299128,3cyclictest16587-21cron07:25:000
9472991210,1cyclictest1291-21runrttasks09:28:140
948299118,2cyclictest9979-21grep08:15:263
948299118,2cyclictest4290-21ssh09:39:443
948299118,2cyclictest29704-21cat07:50:163
948299118,2cyclictest22163-21grep08:40:283
948299118,2cyclictest10225-21ntpq10:10:223
948299117,2cyclictest565-21grep09:05:163
948299110,10cyclictest26462-21chrt08:50:233
947799118,2cyclictest5490-21sh10:33:562
947799118,2cyclictest3506-21tune2fs10:05:182
947799118,2cyclictest31007-21expr11:20:182
947799118,2cyclictest27164-21chrt08:53:182
947799118,2cyclictest1643-21sed09:05:272
947799118,2cyclictest15674-21sh12:00:122
947799118,2cyclictest12342-21grep07:15:142
947799118,2cyclictest10813-21cut07:10:192
947799117,3cyclictest8553-21sh11:01:112
947799114,6cyclictest30309-21memory11:45:202
947799112,8cyclictest24136-21rm09:55:222
947799111,2cyclictest141rcu_preempt10:10:232
947799110,0cyclictest0-21swapper/210:53:272
947499118,2cyclictest9030-21ssh09:42:561
947499118,2cyclictest7380-21grep10:35:171
947499118,2cyclictest3709-21sh11:50:171
947499118,2cyclictest3475-21cat08:04:591
947499118,2cyclictest2801-21ssh10:30:351
947499118,2cyclictest23517-21gltestperf09:55:171
947499118,2cyclictest21907-21tr07:35:171
947499118,2cyclictest21837-21ssh10:45:441
947499118,2cyclictest19063-21ssh10:44:461
947499118,2cyclictest18727-21expr11:10:181
947499118,2cyclictest16680-21grep11:35:151
947499118,2cyclictest15006-21tr09:20:141
947499118,2cyclictest14114-21cat11:05:281
947499118,2cyclictest14025-21ssh11:32:211
947499118,2cyclictest1105-21ssh11:21:531
947499117,3cyclictest22586-21cat08:45:001
947499115,4cyclictest1062-21pmu-power10:55:231
947499111,1cyclictest29201-21ssh11:45:131
947499110,10cyclictest29178-21cut10:00:141
947299118,2cyclictest9125-21grep12:20:280
947299118,2cyclictest9019-21ssh09:42:560
947299118,2cyclictest6865-21uname08:10:200
947299118,2cyclictest5745-21cat08:10:000
947299118,2cyclictest31463-21chrt09:35:120
947299118,2cyclictest30938-21ssh10:54:080
947299118,2cyclictest30439-21ssh12:36:020
947299118,2cyclictest29130-21ssh11:45:100
947299118,2cyclictest27097-21grep09:30:220
947299118,2cyclictest25476-21expr08:50:160
947299118,2cyclictest2429-21ssh09:10:080
947299118,2cyclictest2217-21ssh10:04:520
947299118,2cyclictest20995-21df08:40:170
947299118,2cyclictest20482-21ssh11:10:480
947299118,2cyclictest20266-21ssh10:45:160
947299118,2cyclictest17702-21ssh12:00:350
947299118,2cyclictest14609-21ssh11:33:080
947299118,2cyclictest13426-21ssh10:13:270
947299118,2cyclictest11802-21chrt10:38:470
947299118,2cyclictest1126-21ssh11:21:540
947299118,2cyclictest11115-21cut09:45:150
947299117,3cyclictest10455-21tr08:20:000
947299117,2cyclictest19347-21grep07:30:160
947299110,10cyclictest29690-21cat07:50:160
948299108,2cyclictest14565-21awk07:20:143
948299108,1cyclictest19351-21taskset07:30:183
948299107,2cyclictest6691-21sed08:10:183
948299107,2cyclictest24929-21irqstats07:40:193
948299100,5cyclictest224-21systemd-journal07:20:003
947799108,2cyclictest31339-21gzip09:00:232
947799108,1cyclictest233802sleep207:35:452
947799108,1cyclictest223652sleep208:42:402
947799108,1cyclictest21377-21seq12:30:142
947799108,1cyclictest19891-21chrt08:36:392
947799108,1cyclictest11928-21taskset08:20:212
947799107,2cyclictest28221-21grep12:35:172
947799107,2cyclictest17152-21grep07:25:152
947799107,2cyclictest14786-21wc07:20:152
947799101,7cyclictest12693-21sed09:45:272
947799100,9cyclictest28766-21ntpq08:55:232
947499108,1cyclictest29538-21chrt08:57:301
947499108,1cyclictest16022-21expr08:30:141
947499108,1cyclictest11544-21cat08:20:161
947499107,2cyclictest9575-21grep08:15:221
947499107,2cyclictest26654-21cat08:50:261
947499107,2cyclictest13761-21expr08:25:151
947499100,9cyclictest8327-21ssh12:20:211
947499100,9cyclictest31314-21ssh09:35:011
947299108,1cyclictest300302sleep009:00:130
947299108,1cyclictest27516-21ntp_kernel_pll_07:45:200
947299107,2cyclictest3366-21grep11:50:160
947299107,2cyclictest27429-21wc12:10:160
947299107,2cyclictest1751-21chrt09:05:420
947299107,2cyclictest16574-21grep09:50:140
947299100,9cyclictest21508-21cut12:05:170
94829997,1cyclictest31164-21chrt07:55:133
94749997,1cyclictest20729-21taskset07:30:391
94729997,1cyclictest644-21taskset07:57:140
94729997,1cyclictest141002sleep007:18:520
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional